Kimi k3 на вашем Mac: честная правда о запуске модели с 2,8 трлн параметров

Действительно ли можно запустить Kimi K3 на настольном компьютере? Посмотрите, как эта модель с 2,8 триллионами параметров работает на потребительском оборудовании, таком как Mac. В этом анализе рассматривается публичная доступность модели Kimi K3. Мы изучаем сообщения о её работе на Mac Mini и MacBook без графического процессора, чтобы определить, насколько эти развертывания практичны для обычных пользователей или же они сталкиваются со значительными узкими местами. Если вас интересует локальное выполнение ИИ, этот анализ проясняет текущее состояние развертывания больших языковых моделей. Мы оцениваем, была ли модель Kimi K3 модифицирована для этих конкретных задач или аппаратные ограничения делают её непригодной для большинства. Понимание разрыва между теоретическим размером модели и реальными возможностями потребительского оборудования имеет важное значение для любого, кто пытается запускать проекты развертывания больших языковых моделей дома. Подпишитесь на еженедельные обзоры аппаратного обеспечения ИИ и оставьте комментарий ниже, если вам удалось успешно запустить Kimi K3 на своём компьютере. РАЗДЕЛЫ: 00:00 - Введение: Тайна Kimi K3 00:50 - Реальные требования к оборудованию 02:26 - Бенчмарки против инфраструктуры 04:26 - Действительно ли можно запустить Kimi K3 локально? 06:03 - Узкое место, связанное с перемещением памяти 07:03 - Кому выгодно использовать открытые веса? 08:33 - Передовой ИИ как инфраструктура 09:00 - Ключевые выводы и заключительные мысли