ИИ-модель на 744 млрд параметров с 25 ГБ ОЗУ? Colibrì запускает её прямо с SSD

Как запустить модель ИИ с 744 миллиардами параметров на машине всего с ~25 ГБ оперативной памяти? Colibrì делает нечто необычное: она не пытается загрузить всю модель в память. Вместо этого она хранит плотное ядро ​​GLM-5.2 в оперативной памяти, одновременно передавая необходимые веса Mixture-of-Experts непосредственно из NVMe-хранилища — слой за слоем, токен за токеном. GLM-5.2 содержит 744 миллиарда параметров, но для каждого токена активна лишь их часть. Colibrì использует эту разреженность, превращая видеопамять, системную оперативную память и SSD-накопители в разные уровни одного гигантского хранилища весов. В этом видео мы разберем: • Почему технология Mixture-of-Experts делает это возможным • Как GLM-5.2 выбирает экспертов для каждого токена • Как Colibrì передает данные экспертов с SSD • Почему для хранения требуется всего около 9,9 ГБ плотных весов • Кэширование LRU, привязка экспертов, маршрутизация и предварительная выборка • Почему холодный запуск может занимать 10–20 секунд на каждый сгенерированный токен • Как более быстрые SSD и больший объем кэша влияют на производительность • Почему спекулятивное декодирование может на самом деле замедлять работу • Что эта архитектура означает для локального запуска огромных будущих моделей Это не волшебное сжатие, и оно не превращает ноутбук в передовой сервер ИИ. Интересная идея гораздо более фундаментальна: Разреженная модель не обязательно должна помещаться в быструю память. Активные веса должны поступить до того, как следующий токен сможет продвинуться вперед. Colibrì: github.com/JustVugg/colibri Модель: GLM-5.2 — 744B Mixture-of-Experts Разделы: 00:00 Colibrì: 744B параметров на 25 ГБ ОЗУ 00:37 Почему Mixture-of-Experts делает это возможным 01:46 Потоковая передача весов ИИ непосредственно с SSD 03:24 Кэш, перегрев маршрутизации и предварительная выборка экспертов 04:45 Насколько это быстро на самом деле? 05:56 Что такое Colibrì — и чем он не является 06:35 Почему это меняет локальный ИИ Хотите сравнить подход Colibrì к потоковой передаче NVMe с традиционным облачным выводом? Запустите базовую модель большого размера на RunPod: https://runpod.io?ref=k29fkm3e Сравните цены на GPU на Vast.ai: https://cloud.vast.ai/?ref_id=674637 Colibrì имеет необычайно высокую потребность в хранилище, поэтому здесь важен быстрый NVMe: WD_BLACK SN850X 2TB SSD: https://amzn.to/4grYt3f #AI #LocalAI #LLM #Colibri #GLM5 #machinelearning --- Раскрытие информации о партнерских ссылках: Некоторые ссылки являются партнерскими/реферальными. Я могу получать комиссию или зачисление средств на ваш счет без дополнительных затрат для вас.