Модель Transformer (1/2): слои внимания

Следующее видео:    • Transformer Model (2/2): Build a Deep Neur...   Модели Transformer — это передовые языковые модели. Они основаны на слоях внимания и полносвязных слоях без рекуррентных нейронных сетей (RNN). Вместо изучения каждого модуля Transformer, давайте попробуем построить модель Transformer с нуля. В этой лекции мы уберем RNN, сохранив при этом слой внимания. Мы получим слой внимания и слой самовнимания. В следующей лекции мы используем слой внимания, самовнимания и полносвязные слои для построения глубокой нейронной сети, известной как Transformer. Слайды: https://github.com/wangshusen/DeepLea... Ссылка: Vaswani et al. Attention Is All You Need. In NIPS, 2017.