Дообучение визуально-языковых моделей (VLM) — HuggingFace, PyTorch, LoRA, квантование, TRL

Мы будем дорабатывать VLM-модели для общения с изображениями с помощью Python! В частности, мы доработаем модель Qwen2-VL-7B-Instruct, используя LoRA и 4-битное квантование. Ссылка на GitHub ниже ↓ Хотите поддержать канал? Нажмите кнопку «Нравится» и подпишитесь! Ссылка на код на GitHub: https://github.com/uygarkurt/Fine-Tun... Модель Qwen2-VL-7B https://huggingface.co/Qwen/Qwen2-VL-... Набор данных: https://huggingface.co/datasets/Huggi... Что мне следует реализовать дальше? Дайте знать в комментариях! 00:00 Введение 00:50 Установка необходимых библиотек 01:49 Импорт 03:40 Определение гиперпараметров 08:12 Подготовка набора данных 22:38 Загрузка модели VL и процессора 25:06 Вывод примеров 32:18 Настройка LoRA 34:05 Настройка аргументов обучения 35:42 Сборщик данных 39:03 Настройка тренера 39:55 Запуск обучения VLM 40:42 Вывод и оценка после обучения Ссылки https://huggingface.co/learn/cookbook... https://huggingface.co/docs/trl/en/sf... https://huggingface.co/docs/transform... Купите мне кофе! ☕️ https://ko-fi.com/uygarkurt