Что, если ИИ научится забывать? (Разбор Mamba)

У каждого чат-бота с искусственным интеллектом есть скрытая слабость: чем длиннее текст, тем больше работы ему приходится выполнять. Удвойте текст, и основной этап привлечения внимания будет выполнять примерно в 4 раза больше работы. Увеличьте его в 10 раз, и нагрузка возрастет примерно в 100 раз. В 2023 году Альберт Гу и Три Дао предложили удивительно простое решение: что, если бы ИИ мог научиться забывать? В этом видео мы разбираем Mamba, модель избирательного пространства состояний, которая бросила вызов Transformer: • Почему механизм внимания Transformer становится таким затратным при работе с длинным текстом • Как рекуррентные модели и модели пространства состояний (с корнями в фильтре Калмана 1960-х годов) остаются быстрыми • Выбор: как Mamba решает, что запоминать, а что отбрасывать • Трюк с памятью GPU, который делает её до 40 раз быстрее стандартной реализации • Результаты: 99,8% при избирательном копировании (против 18,3% у более старых моделей пространства состояний), идеальная полнота на последовательностях в 4000 раз длиннее, чем длина обучающей выборки, до 5 раз более быстрая генерация и соответствие Mamba-3B моделям Transformer вдвое большего размера • За пределами языка: ДНК (различение людей, шимпанзе, горилл, орангутанов и бонобо) и генерация речи • ​​Честное дело: что Mamba ещё не доказала 📄 Статья: Mamba: Linear-Time Sequence Моделирование с использованием селективных пространств состояний (Гу и Дао, 2023) https://arxiv.org/abs/2312.00752 💻 Код: https://github.com/state-spaces/mamba 🌐 netlight.ml #Mamba #МашинноеОбучение #ИИ #Трансформеры #МоделиПространствСостояний #ГлубокоеОбучение #LLM