中文版"/>
Attention Is All You Need 中文版
文章目录
-
Attention Is All You Need
-
-
摘要
- 1 Introduction(简介)
- 2 Background(背景)
- 3 Model Architecture(模型结构)
-
- 3.1 Encoder and Decoder Stacks(编码器栈和解码器栈)
- 3.2 Attention(注意力机制)
- 3.2.1 Scaled Dot-Product Attention(缩放的点积注意力机制)
- 3.2.2 Multi-Head Attention(多头注意力机制)
- 3.2.3 Applications of Attention in our Model(注意力机制在我们模型中的应用)
- 3.3 Position-wise Feed-Forward Networks(基于位置的前馈神经网络)
- 3.4 Embeddings and Softmax (词嵌入和 softmax)
- 3.5 Positional Encoding(位置编码)
- 4 Why Self-Attention(为什么选择selt-attention)
- 5 Training(训练)
-
- 5.1 Training Data and Batching(训练数据和batch)
- 5.2 Hardware and Schedule(硬件和时间)
- 5.3 Optimizer(优化器)
- 5.4 Regularization(正则化)
- 6 Results(结果)
-
- 6.1 Machine Translation(机器翻译)
- 6.2 Model Variations(模型变体)
- 6.3 English Constituency Parsing(英文选区分析)
- 7 Conclusion(结论)
-
Attention Is All You Need
摘要
主流的序列转换模型都是基于复杂的循环神经网络或卷积神经网络,且都包含一个encoder和一个decoder。表现最好的模型还通过attention机制把encoder和decoder联接起来。我们提出了一个新的、简单的网络架构,Transformer. 它只基于单独的attention机制,完全避免使用循环和卷积。在两个翻译任务上表明,我们的模型在质量上更好,同时具有更高的并行性,且训练所需要的时间更少。我们的模型在 WMT2014 英语-德语的翻译任务上取得了28.4的BLEU评分。在现有的表现最好模型的基础上,包括整合模型,提高了2个BLUE评分。在WMT2014英语-德语的翻译任务上,我们的模型在8个GPU上训练了3.5天(这个时间只是目前文献中记载的最好的模型训练成本的一小部分),创造了单模型的SOTA结果,BLEU分数为41.8,通过在大量和少量训练数据上所做的英语选区分析工作的成功,表明Transformer能很好的适应于其它任务。
1 Introduction(简介)
RNN,LSTM,GRU,Gated Recurrent Neural Networks 在序列建模和转换任务上,比如语言模型和机器翻译,已经是大家公认的取得SOTA结果的方法。自此,无数的努力继续推动递归语言模型和encoder-decoder体系结构的界限。</
更多推荐
Attention Is All You Need 中文版
发布评论