SANA-Video: Эффективная генерация видео с помощью блочно-линейного диффузионного трансформера, [I...

Мы представляем SANA-Video, небольшую модель распространения, которая может эффективно генерировать видео с разрешением до 2K и продолжительностью в минуту. SANA-Video синтезирует видео высокого разрешения, высокого качества и большой длины с точным выравниванием текста и видео с невероятно высокой скоростью, развертываемая на графическом процессоре RTX 5090. Эффективная и длительная генерация видео обеспечивается двумя основными механизмами: (1) Линейный DiT: Мы используем линейное внимание в качестве основной операции, что более эффективно, чем обычное внимание, учитывая большое количество токенов, обрабатываемых при генерации видео. (2) Кэш KV с постоянной памятью для блочного линейного внимания: мы разрабатываем блочный авторегрессивный подход для генерации длинных видео, используя состояние с постоянной памятью, полученное из кумулятивных свойств линейного внимания. Этот кэш KV обеспечивает линейный DiT глобальным контекстом с фиксированными затратами памяти, устраняя необходимость в традиционном кэше KV и обеспечивая эффективную генерацию видео продолжительностью в минуту. Кроме того, мы исследуем эффективные фильтры данных и стратегии обучения модели, сокращая время обучения до 12 дней на 64 графических процессорах H100, что составляет всего 1% от стоимости MovieGen. Благодаря низкой стоимости, SANA-Video демонстрирует конкурентоспособную производительность по сравнению с современными передовыми моделями с малым распространением (например, Wan 2.1-1.3B и SkyReel-V2-1.3B), при этом обеспечивая в 16 раз более высокую измеренную задержку. Более того, SANA-Video может быть развернута на графических процессорах RTX 5090 с точностью NVFP4, ускоряя скорость вывода при генерации 5-секундного видео 720p с 71 с до 29 с (ускорение в 2,4 раза). В итоге, SANA-Video обеспечивает недорогую и высококачественную генерацию видео. Код и модель будут опубликованы.