AI History
时间线
← 返回时间线
2014-09-01论文

注意力机制:教会 AI 聚焦

巴赫达瑙、赵和本吉奥为机器翻译引入注意力机制,让神经网络在生成输出时能「聚焦」输入的相关部分。这个概念后来成为 Transformer 架构的基础。

参考资料

  • Neural Machine Translation by Jointly Learning to Align and Translate

    Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio

    ICLR2015
Also in this series—Music History·Video History·Photo History·Writing History

A project by Kexin