Gemma 2 12B QAT против обычной версии — настройка локальной LLM на 16 ГБ видеопамяти

В этом видео я тестирую версию модели Gemma 4 12B от Google, доступную для тестирования (QAT), и сравниваю качество модели QAT от Unsloth (которое соответствует уровню q4) с обычной моделью GGUF от Unsloth, также доступной для тестирования (q4). Модель работает на локальном ПК для ИИ, который я собрал с 16 ГБ видеопамяти и 32 ГБ оперативной памяти DDR4. Я запускаю модель через несколько тестов: 1. Адгезия 2. Агентность 3. Кодирование 4. Память Если вас интересуют локальные LLM-модели, ИИ и домашние лаборатории с точки зрения инженера-программиста с многолетним профессиональным опытом работы с LLM-моделями в производственной среде — подписывайтесь на канал! Модели - • QAT: https://huggingface.co/unsloth/gemma-... • non-QAT: https://huggingface.co/unsloth/gemma-... GitHub: https://github.com/lukesdevlab/youtube Patreon:   / lukesdevlab   #localllm #localai #homelab #llamacpp #homelab #gemma4 #quantization #qat Главы: 0:00 Далее 0:08 Введение 0:55 Модели 1:16 Тесты 1:39 Характеристики системы 1:50 Соблюдение требований - q4 2:53 Соблюдение требований - QAT 3:35 Агентство 5:56 Кодирование - q4 7:55 Кодирование - QAT 10:55 Память 12:40 Заключение