Transformer模型(2/2): 从Attention层到Transformer网络

下节课 BERT：    • BERT (预训练Transformer模型)   英文版补充了Machine Translation 的方法：    • Transformer Model (2/2): Build a Deep Neur...   Transformer模型是目前机器翻译等NLP问题最好的解决办法，比RNN有大幅提高。这节课和上节课讲解Transformer模型。这节课的内容是 用Attention层与Self-Attention层搭建深度神经网络——Transformer模型。 我没有像其他视频和博客那样剖析Transformer的每个组件。我的思路是从零开始设计一个Transformer模型。希望大家能跟着我的思路一起解决这个问题：如何搭建一个纯基于Attention的深度神经网络，并且能解决一切RNN擅长的问题？ 课件：https://github.com/wangshusen/DeepLea... Transformer课程视频： 1. Attention层：    • Transformer模型(1/2): 剥离RNN，保留Attention   2. Transformer网络：    • Transformer模型(2/2): 从Attention层到Transformer网络   3. BERT：   • BERT (预训练Transformer模型)   RNN课程视频： 1. 数据处理：    • RNN模型与NLP应用(1/9)：数据处理基础   2. 词嵌入：   • RNN模型与NLP应用(2/9)：文本处理与词嵌入   3. Simple RNN：   • RNN模型与NLP应用(3/9)：Simple RNN模型   4. LSTM：    • RNN模型与NLP应用(4/9)：LSTM模型   5.RNN的改进：    • RNN模型与NLP应用(5/9)：多层RNN、双向RNN、预训练   6. 文本生成：   • RNN模型与NLP应用(6/9)：Text Generation (自动文本生成)   7. 机器翻译：   • RNN模型与NLP应用(7/9)：机器翻译与Seq2Seq模型   8. Attention:    • RNN模型与NLP应用(8/9)：Attention (注意力机制)   9. Self-Attention:    • RNN模型与NLP应用(9/9)：Self-Attention (自注意力机制)