Как диффузия превращает случайные числа в изображение | Наглядное объяснение диффузии

Серия видеороликов о моделях:    • Video Model Series   Вы нажимаете «Сгенерировать». Процесс начинается с сетки случайных чисел — а не со скрытого изображения. Как одна модель может многократно анализировать эту сетку и превратить её в чёткое изображение, соответствующее вашим словам? В этом видео диффузия строится на основе этой видимой головоломки. Мы создаём один зашумлённый обучающий пример с известными числами, наблюдаем, как множество локальных предсказаний формируют поле, а затем следим за заданной начальной сеткой, по мере того как сэмплер перемещает её через это изученное поле. Широкие формы становятся восстанавливаемыми раньше, чем тонкая текстура. Стабильная диффузия выполняет эти многократные изменения в меньшей скрытой сетке, в то время как текстовый запрос изменяет каждое предсказание шума. Центральная картина проста: реальное изображение + известный шум → цель, которую может изучить модель случайная сетка → предсказание модели → изменение сэмплера → повтор → конечное изображение Изображение не хранится в начальном шуме. Оно развивается посредством последовательности выборов, направляемых шаблонами, изученными на реальных изображениях, и информацией из текстового запроса. Попутно мы ответим на следующие вопросы: • Как добавление шума создает известный результат обучения? • Что должна предсказывать модель, когда несколько чистых изображений соответствуют одному и тому же зашумленному входному сигналу? • Как локальные предсказания становятся полем, которое направляет генерацию? • В чем разница между предсказанием модели и изменением, внесенным сэмплером? • Почему общие формы обычно становятся стабильными раньше, чем мелкие детали? • Почему стабильная диффузия работает в меньшей латентной сетке? • Как текст изменяет каждое предсказание? • Что означают начальное значение, количество шагов, значение сэмплера и значение направляющего сигнала для каждого элемента управления? Главы: 0:00 Когда существует изображение? 0:28 Обучение создает известную цель 1:56 Оценки шумоподавления определяют поле оценок 3:19 Выборка следует за изученным полем 4:41 Крупномасштабная структура становится восстанавливаемой первой 5:50 Скрытая диффузия и текстовое руководство 8:34 Полный механизм Источники и дополнительная литература: • Вероятностные модели шумоподавления диффузии — Хо, Джайн и Аббил (2020): https://arxiv.org/abs/2006.11239 • Аннотированная модель диффузии — Рогге и Расул (2022): https://huggingface.co/blog/annotated... • Генеративное моделирование путем оценки градиентов распределения данных — Ян Сонг (2021): https://yang-song.net/blog/2021/score/ • Перспективы Диффузия — Сандер Дилеман (2023): https://sander.ai/2023/07/20/perspect... • Планировщики диффузоров Hugging Face: https://huggingface.co/docs/diffusers... • Диффузия — это спектральная авторегрессия — Сандер Дилеман (2024): https://sander.ai/2024/09/02/spectral... • Иллюстрированная стабильная диффузия — Джей Аламмар (2022): https://jalammar.github.io/illustrate... • Синтез изображений высокого разрешения с использованием моделей латентной диффузии — Ромбах и др. (2022): https://arxiv.org/abs/2112.10752 • Руководство по диффузии без классификаторов — Хо и Салиманс (2022): https://arxiv.org/abs/2207.12598 • Воспроизводимость диффузоров Hugging Face: https://huggingface.co/docs/diffusers... #diffusionmodels #stablediffusion #aiimagegeneration #generativeai #denoising #classifierfreeguidance #latentspace #machinelearning #artificialintelligence #mlvisualized Запросы пользователей: визуальное объяснение диффузионных моделей как диффузия превращает шум в изображения как работает стабильная диффузия объяснение обучения диффузионной модели интуиция диффузии в поле оценок объяснение сэмплера диффузии почему диффузионные изображения формируются от грубого к тонкому объяснение латентной диффузии руководство по диффузии без классификаторов пояснено пошаговое руководство по отбору проб семян пояснено