2017-06-12论文里程碑
Attention Is All You Need：Transformer 的诞生
谷歌研究者提出 Transformer 架构，用纯注意力机制取代循环网络。这篇论文可以说是现代 AI 最具影响力的论文——它是 GPT、BERT 以及今天几乎所有大语言模型的基础。
参考资料
- Attention Is All You Need
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin
NeurIPS2017