Трансформеры собирают больше жетонов. Почему бы не использовать их на нескольких уровнях?

Функция Attention Residuals заменяет стандартное фиксированное накопление остатков на механизм внимания softmax над выходами предыдущего слоя. Это позволяет каждому слою избирательно комбинировать более ранние представления, используя изученные, зависящие от входных данных веса. Функция Attention Residuals заменяет стандартное фиксированное накопление остатков на механизм внимания softmax по глубине над всеми выходами предыдущего слоя. Это позволяет каждому слою комбинировать более ранние представления, используя изученные, зависящие от входных данных веса. 00:00 Введение в остаточные связи 03:27 Интуиция, лежащая в основе механизма внимания 04:43 Остаточные связи полного внимания 09:43 Остаточные связи блочного внимания 13:07 Параллелизм 14:21 Проектирование инфраструктуры для эффективного обучения 20:03 Проектирование инфраструктуры для эффективного вывода 22:01 Обсуждения 21:02 Связанные работы Ссылки: [Attention Residual] https://arxiv.org/abs/2603.15031