NCM: Конец эпохи LLM? Не спешите с выводами (Локальные тесты)

Модель Next-Concept Modeling (NCM) от Hazy Research Стэнфордского университета сначала выводит ответ в виде приблизительного наброска, а затем — точных слов, за несколько проходов вместо одного прохода на токен. Я запустил выпущенные модели на DGX Spark и сравнил производительность NCM с пословным LLM того же размера: она оказалась в 4 раза быстрее при одном запросе и в 4–8 раз медленнее при 64 запросах. Я также обучил свою собственную модель диффузии, которая сравнялась с NCM по показателю 86% на сложных судоку, как только заполнила сначала наиболее уверенную ячейку. Статья: https://arxiv.org/abs/2610.14162 Код: https://github.com/HazyResearch/ncm Контрольные точки: https://huggingface.co/hazyresearch/n... Блог Hazy Research: https://hazyresearch.stanford.edu/blo... Настройка судоку (S-FLM): https://github.com/jdeschena/s-flm Декодирование с приоритетом наиболее уверенного решения (Kim et al. 2025): https://arxiv.org/abs/2502.06768 Диффузионная гемма локально:    • Diffusion Gemma Locally: What GPU You Need...   Диффузионные LLM уже здесь!:    • Diffusion LLMs Are Here! Is This the End o...   Дополнительная информация: Диффузионная гемма и на мгновение появляется логотип Gemini. Если вы хотите, чтобы фраза звучала так: «Я присоединяюсь к Google; это основано на общедоступной информации, и мои взгляды являются моими собственными», уточните формулировку у своего рекрутера. Разделы (время отсчитывается от окончательной версии) 0:00 Что такое NCM (Next-Concept Modeling) 0:55 Два вопроса, которые в статье так и не были проверены 1:57 Почему LLM-модели записывают по одному токену за раз 3:07 Диффузионные модели: очевидное решение 4:24 Как работает NCM: от грубого к тонкому уровню 5:35 Что такое «концепция» 6:04 Генератор: один уровень за проход 7:06 Результаты статьи: в 31 раз быстрее, 86% на судоку 7:49 Что упустила большая часть обзора 8:58 Тест 1: наблюдение за тем, как NCM решает судоку 10:01 Тест 2: NCM против LLM-модели того же размера 10:38 64 запроса: результат меняется на противоположный 12:11 Тест 3: моя собственная диффузионная модель судоку 12:40 NCM с приоритетом наибольшей уверенности 13:48 Ограничения NCM 14:52 Итог