S33 | Gumbel Straight Flow: дистилляция авторегрессионных моделей в одношаговые потоковые отображ...

На сегодняшней сессии Ёнмин Ким представит Gumbel Straight Flow (GSF), непрерывную языковую модель на основе карт потоков, которая преобразует предварительно обученную авторегрессионную модель в сэмплер с несколькими шагами. Отправной точкой является связь шума и данных, которая уже заложена в авторегрессионной модели. Сэмплирование из языковой модели AR можно представить как отрисовку шума Гумбеля и считывание последовательностей токенов one-hot, и авторы теоретически показывают, что эта связь приводит к непересекающимся линейным путям, соединяющим шум с представлениями последовательностей. Прямые, непересекающиеся пути — это именно то, что нужно карте потоков, поскольку именно по ним можно пройти небольшое количество шагов без ошибок. Чтобы продвинуть сэмплирование с несколькими шагами дальше, GSF обучается с использованием полугрупповой целевой функции карты потоков, в которой условие касания (скорости) направляется непосредственно авторегрессионным учителем, а не оценивается самостоятельно. В ряде тестов, включая предварительное обучение и последующие задачи, GSF превосходит существующие базовые алгоритмы генерации языка в несколько шагов. Статья: https://arxiv.org/abs/2610.00497