ELF: Внедренные языковые потоки | Кея Ху и Линлу Цю

Присоединяйтесь к читательской группе: https://hannes-stark.com/starkly-spea... Статья: ELF: Embedded Language Flows https://arxiv.org/abs/2605.10938 Аннотация: Диффузионные и потоковые модели стали де-факто подходами к генерации непрерывных данных, например, в таких областях, как изображения и видео. Их успех привлек растущий интерес к их применению в языковом моделировании. В отличие от своих аналогов в области изображений, ведущие современные диффузионные языковые модели (DLM) в основном работают с дискретными токенами. В этой статье мы показываем, что непрерывные DLM могут быть эффективными с минимальной адаптацией к дискретной области. Мы предлагаем Embedded Language Flows (ELF), класс диффузионных моделей в непрерывном пространстве вложений, основанный на сопоставлении потоков в непрерывном времени. В отличие от существующих DLM, ELF преимущественно остается в непрерывном пространстве вложений до последнего временного шага, где он отображается на дискретные токены с использованием сети с общими весами. Данная формулировка упрощает адаптацию существующих методов из моделей диффузии в области изображений, например, управления без классификатора (CFG). Эксперименты показывают, что ELF существенно превосходит ведущие дискретные и непрерывные DLM, обеспечивая лучшее качество генерации с меньшим количеством шагов выборки. Эти результаты свидетельствуют о том, что ELF открывает перспективный путь к созданию эффективных непрерывных DLM.