Как создать современную диффузионную языковую модель

Владимир Кулешов (Корнельский университет) https://simons.berkeley.edu/talks/vol... Диффузионное генеративное моделирование: прогресс и следующие шаги В этом докладе представлена ​​концепция диффузии для языка и достижения в исследованиях, лежащие в основе современных диффузионных языковых моделей. Мы описываем основные элементы ведущих современных моделей с открытым исходным кодом, начиная с простого маскированного диффузионного языкового моделирования (MDLM), и рассматриваем методы итеративного уточнения, управляемой генерации и эффективного вывода с использованием последовательностей переменной длины. Эти методы открывают возможности, недоступные авторегрессионным моделям: быстрая генерация со скоростью 1000 токенов в секунду, новые формы масштабирования времени вывода за счет многократного уточнения и мелкозернистая управляемая генерация, которая оказалась особенно ценной в науке. Мы рассматриваем их в контексте ведущих моделей биологических последовательностей (белков и ДНК) и естественного языка, включая передовые модели диффузии с использованием линейных моделей, такие как Nemotron Diffusion, Gemma Diffusion и Mercury 2.