LLM действительно мертвы?

Означает ли разработка Стэнфордского университета Next-Concept Modeling конец языковых моделей с расширенными концепциями (LLM)? Разбор статьи NCM (arXiv 2610.14162) с одним работающим примером: семисловное резюме гневного электронного письма от банка X, которое современная авторегрессивная LLM записывает по одному слову за проход. Подпишитесь на еженедельную сборку ИИ, демонстрирующую работоспособность. NCM по-прежнему является языковой моделью-трансформатором. Многомасштабный остаточный VQ-VAE преобразует текст в лестницу кодов из кодовой книги, содержащей 4096 кодов; генератор записывает один уровень за проход, каждый код уровня одновременно; декодер преобразует самый тонкий уровень обратно в слова. На XSum он использовал 8 проходов, тогда как авторегрессивная базовая модель в статье использовала 64. Важная информация: 10-кратное, 21-кратное и 31-кратное ускорение измерялось по сравнению с языковыми моделями с диффузионным кодированием, а не по сравнению с LLM с кэшированием ключ-значение-версионный код. Для перевода потребовалось 132 прохода, чтобы соответствовать базовому варианту с авторегрессионной моделью, который потребовал 64 прохода. Глубина фиксирована (8 уровней в XSum), поэтому очень короткий ответ ничего не выигрывает: семь слов требуют 7 проходов по одному слову за раз и 8 проходов вверх по лестнице, в то время как ответ из 48 токенов требует 48 проходов против 8. Самый большой протестированный генератор имеет 725 миллионов параметров. Главы: 0:00 КРАТКОЕ ИЗЛОЖЕНИЕ ИЗ СЕМИ СЛОВ 1:11 КОДОВАЯ ЛЕСТНИЦА 2:39 МЕЛКИЙ ШРИФТ 31X 3:55 ФИКСИРОВАННАЯ ЛЕСТНИЦА 4:55 ТО ЖЕ САМОЕ ЭЛЕКТРОННОЕ ПИСЬМО Источники: Статья: https://arxiv.org/abs/2610.14162 Полный текст: https://arxiv.org/html/2610.14162 Код и контрольные точки: https://github.com/HazyResearch/ncm Синхронизировано с моделью больших концепций Meta: https://syncedreview.com/2025/01/25/b... Банк X создан для обучения; Реальная банковская система не описывается. О проекте: Architect Radio: сложные вопросы для интервью, на которые отвечает архитектор банковской сферы.