Джемма 4. Глубокое погружение — Кэссиди Хардин, исследователь, Google DeepMind

Открытые модели становятся меньше, быстрее и значительно функциональнее. В этом докладе Кэссиди Хардин расскажет о последних достижениях в семействе Gemma, уделяя особое внимание Gemma 4 и тому, что она позволяет разработчикам создавать системы искусственного интеллекта для устройств и с открытыми весами. Она расскажет об архитектуре, лежащей в основе плотных, эффективных моделей Gemma, использующих смешанный подход, включая улучшения механизма внимания, многомодальную поддержку текста, изображений и звука, а также о проектных решениях, которые делают возможными эффективные рассуждения, программирование и рабочие процессы агентов в практических размерах. Информация о докладчике:   / cassidyhardin   Временные метки: 00:00:28 - Введение в семейство моделей Gemma 4 и четыре категории их размеров 00:01:54 - Переход к лицензированию Apache 2.0 для доступности для разработчиков 00:02:25 - Подробный анализ моделей плотного рассуждения (31B) и модели смешанных экспертов (MoE) (26B) 00:03:30 - Обзор эффективных моделей на устройстве (2B и 4B) ​​с многомодальной поддержкой 00:04:21 - Архитектурные обновления: чередующееся локальное/глобальное внимание и группированное внимание к запросам 00:06:51 - Объяснение новой архитектуры MoE (128 экспертов, 8 активных) 00:07:44 - Реализация встраивания по слоям (PLE) для оптимизации памяти на устройстве 00:11:06 - Многомодальный Достижения: переменные соотношения сторон и разрешения для кодировщиков машинного зрения 00:16:31 - Улучшения обработки звука с помощью архитектуры конформеров и аудиотокенизаторов 00:18:07 - Начало работы: саморазмещение (Hugging Face, Ollama) и облачное развертывание (Vertex AI) --- Смотрите вместе с исправленной стенограммой, кратким изложением, временными метками и ресурсами на официальной странице этого доклада на AIE: https://ai.engineer/talks/_A367W_qvc8... Присоединяйтесь к нашим предстоящим конференциям для инженеров в области ИИ (см. целевую страницу https://ai.engineer): AIEi Shanghai, 5–6 ноября — первая конференция для встречи с ведущими китайскими лабораториями и инженерами AIE CODE в Сан-Франциско, 10–12 ноября — возвращается ведущая конференция по программированию в области ИИ AIEi Sydney, 7–8 декабря — Первая конференция AIEi, проводимая параллельно с NeurIPS 2026 в Сиднее ---