2014-09-01论文
注意力机制:教会 AI 聚焦
巴赫达瑙、赵和本吉奥为机器翻译引入注意力机制,让神经网络在生成输出时能「聚焦」输入的相关部分。这个概念后来成为 Transformer 架构的基础。
参考资料
- Neural Machine Translation by Jointly Learning to Align and Translate
Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio
ICLR2015
巴赫达瑙、赵和本吉奥为机器翻译引入注意力机制,让神经网络在生成输出时能「聚焦」输入的相关部分。这个概念后来成为 Transformer 架构的基础。
Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio