Внимание — это все, что вам нужно

https://arxiv.org/abs/1706.03762 Аннотация: Доминирующие модели преобразования последовательностей основаны на сложных рекуррентных или сверточных нейронных сетях в конфигурации кодер-декодер. Наиболее эффективные модели также связывают кодер и декодер через механизм внимания. Мы предлагаем новую простую сетевую архитектуру Transformer, основанную исключительно на механизмах внимания, полностью отказываясь от рекуррентности и сверток. Эксперименты на двух задачах машинного перевода показывают, что эти модели превосходят по качеству, при этом они более поддаются распараллеливанию и требуют значительно меньше времени на обучение. Наша модель достигла 28,4 BLEU в задаче перевода с английского на немецкий в рамках WMT 2014, что превышает существующие лучшие результаты, включая ансамбли, более чем на 2 BLEU. В задаче перевода с английского на французский в рамках WMT 2014 наша модель достигла нового передового показателя BLEU 41,0 после обучения в течение 3,5 дней на восьми графических процессорах, что составляет лишь незначительную часть от стоимости обучения лучших моделей из литературы. Мы показываем, что Transformer хорошо обобщается на другие задачи, успешно применяя его для анализа англоязычной аудитории как с большими, так и с ограниченными обучающими данными. Авторы: Ашиш Васвани, Ноам Шазир, Ники Пармар, Якоб Ушкорейт, Ллион Джонс, Эйдан Н. Гомес, Лукаш Кайзер, Илья Полосухин