Перейти к содержимому

Google нашла способ обойти аппаратные ограничения ИИ

Tim Carambat

0:00 / 0:00

Google нашла способ обойти аппаратные ограничения ИИ

27 267 просмотров · 3 месяца назад
Tim Carambat
55,9 тыс. подписчиков
27 267 просмотров · 3 месяца назад
Gemma 4 12B опровергает слухи о новой промежуточной модели между их мобильными (E2B, E4B) и более аппаратными моделями (26B MoE, 31B), но значительно улучшает ситуацию благодаря QAT (Quantization Aware Training — обучение с учетом квантизации). Это в дополнение к поддержке MTP (Multi-Token Processing) для этих моделей! Gemma 4 — это серьезный шаг вперед в возможностях и производительности локальных моделей в целом. Приятно видеть хотя бы некоторую конкуренцию со стороны других лабораторий, поскольку Qwen в последнее время активно продвигает локальный ИИ по всей индустрии! *Ссылки*: AnythingLLM: https://anythingllm.com/ AnythingLLM GitHub: https://github.com/Mintplex-Labs/anyt... Gemma 12B: https://huggingface.co/google/gemma-4... Gemma 12B QAT GGUF: https://huggingface.co/unsloth/gemma-... *Разделы*: 0:00 Поговорим о Gemma 4 12B 0:34 Краткая история Gemma 4 3:06 Gemma 12B — долгожданное дополнение 6:59 Qwen3.5 или Gemma 12B 8:18 Что такое QAT (Quantization Aware Training) 10:24 QAT НЕ совсем Bitnet, но близок к нему 11:35 Тестирование Gemma 12B в AnythingLLM 17:05 Заключительные мысли: Gemma 12B на 100% заслуживает внимания.