RefMods заменят LoRA? Запекаем персонажей в файлы по 5 МБ (Qwen, Flux 3, MiniMax H3)
Winnougan
0:00 / 0:00
RefMods заменят LoRA? Запекаем персонажей в файлы по 5 МБ (Qwen, Flux 3, MiniMax H3)
18 154 просмотра · 6 дн. назад
Winnougan
1,24 тыс. подписчиков
18 154 просмотра · 6 дн. назад
Прекратите обучать LoRA для каждого персонажа! В этом руководстве по ComfyUI я покажу вам, как создавать RefMods: крошечные (~5 МБ) файлы сафтензоров, которые встраивают эталонные изображения, аудио и даже видео прямо в персонажа, которого можно использовать где угодно. Никаких подписей, никаких наборов данных из 50 изображений, никаких затрат на RunPod.
🔥 В этом видео:
• Как работают RefMods и почему они такие лёгкие
• RefMods для Qwen Image Edit 2.x, Flux 2 и MiniMax H3 (изображение, голос + видео)
• Почему RefMods не работают для MOSS или Krea 2 (пока) — им нужна модель Edit/Omni
• Чат-боты RefMod: встраивание подсказки персонажа и системы в карточку, чтобы вам больше никогда не приходилось копировать/вставлять настройки подсказок
• Использование Vision LLM (Qwen 3.5, Gemma 4, Qwen3-VL) в качестве усилителя подсказок для каждой модели
• Полное пошаговое руководство по встраиванию: входная папка, 8 изображений, выделение VAE
• 8-шаговый рабочий процесс MiniMax H3 с OmniRef + VSA с разреженным вниманием
• НОВИНКА: 8-шаговые и 4-шаговые ускорители Ref-to-Video PTD (Taobao), а также мои версии для Rank 64 / Rank 32 (10,1 ГБ → 5,58 ГБ / 2,81 ГБ)
• Мой пользовательский адаптер для работы моделей PTD с урезанной моделью MiniMax H3, с установкой в один клик
• Новые инструменты: Multi Image Loader, Resolution Picker, Save Video (просмотр с помощью скраббинга) и GIF Maker для Discord
• LoRA против RefMod: когда каждая из них имеет смысл
• Следующее видео: обучение MiniMax H3 LoRA с видео + аудио на 32 ГБ VRAM (NVFP4) и MOSS LoRA
📦 ЗАГРУЗКИ
RefMods, узлы, рабочие процессы и установка в один клик доступны на моем Hugging Face, GitHub и Patreon (бесплатно для всех): https://www.patreon.com/Winnougan/pos...
Социальные сети Winnougan:
Patreon: / winnougan
Ko-fi: https://ko-fi.com/winnougan
YouTube: / @winnougan
Discord: / discord
Huggingface: https://huggingface.co/Winnougan
GitHub: https://github.com/Winnougan/Nougan_N...
Если это сэкономило вам время (и деньги на RunPod), поставьте ЛАЙК и ПОДПИШИТЕСЬ, и напишите мне в комментариях. Напишите в комментариях, для какой модели вы хотите получить RefMod в следующий раз!
⏱️ ВРЕМЕННЫЕ МЕТКИ
0:00 Вступление
0:08 Что такое RefMod? (За пределами MiniMax H3)
1:03 Какие модели работают (а какие нет)
2:15 RefMods против LoRAs
3:02 Объяснение чат-ботов RefMod
4:44 Проблема с усилителями подсказок и системными подсказками
5:04 Встраивание системной подсказки в карточку персонажа
6:41 Демонстрация чат-бота: изображение в подсказку, напрямую интегрированное в ваш рабочий процесс
8:06 Как встроить RefMod (Qwen 2.1, папка ввода ComfyUI)
10:19 RefMods для Flux 2
10:41 RefMods для MiniMax H3 (видео + голос + аудио VAE)
11:28 Использование RefMods: демонстрация рабочего процесса Qwen 2.1
13:22 Демонстрация рабочего процесса Flux 2
13:43 Рабочий процесс MiniMax H3 + чат-бот RefMod
15:14 8-шаговые настройки OmniRef (VSA, Comfy Кухня)
16:39 Nougan RefMod Узел Apply
17:45 Новое: модели Ref-to-Video PTD (Taobao)
19:18 Проблема усеченной модели
20:00 Версии Rank 64 и Rank 32 + пользовательский адаптер
21:11 Установщик в одну кнопку
21:53 Многофункциональный загрузчик изображений и выбор разрешения
23:03 Новый узел Save Video
23:23 Быстрее ли PTD? Результаты
24:09 RefMod против загрузчика изображений: что включить/выключить
25:14 Почему RefMods останутся с нами надолго
25:59 LoRA против RefMod: встраивание голоса и видео
27:07 Когда все еще следует обучать LoRA
27:51 Заключительные мысли и загрузка чат-ботов RefMod
28:34 Бонус: GIF Maker для Discord
30:23 Следующее видео: MiniMax H3 и MOSS LoRAs