Могут ли диффузионные языковые модели заменить LLM?

В этом видео мы рассмотрим, как диффузионные языковые модели генерируют текст, заполняя замаскированные токены параллельно, а не записывая по одному слову слева направо. Используя простое предложение из десяти токенов, мы пошагово разберем, как эти модели обучаются при всех уровнях маскирования, почему параллельные предсказания могут давать сбои и как правила достоверности предотвращают бессмысленные результаты. Мы также проанализируем аппаратные компромиссы блочной диффузии и объясним, почему высокая скорость работы для одного пользователя часто падает при обслуживании нескольких пользователей одновременно. Социальные сети: ====== BuyMeACoffee: https://buymeacoffee.com/thesynthetic... TikTok:   / the.synthetic.mind   Instagram:   / the.synthetic.mind   X: https://x.com/yyz_arash Разделы: ======== 0:00 Запись в неправильном порядке 1:50 Авторегрессивные модели против маскирования 3:56 Обучение при любой скорости маскирования 6:30 Генерация первых токенов 8:17 Почему важен порядок выбора 10:13 Решение проблемы параллельной фиксации 13:23 Аппаратные и пакетные узкие места GPU 16:26 Блочная диффузия и переменная длина 19:31 Диффузия за пределами текста #DiffusionLanguageModels #КрупныеЯзыковыеМодели #МашинноеОбучение #ИскусственныйИнтеллект