Гениальная архитектура Kimi K3

В этом видео мы разбираем архитектуру Kimi K3 от Moonshot AI — масштабную модель смешанных экспертов (Mixture-of-Experts, MoE) с открытыми весами, имеющую 2,8 триллиона параметров и сопоставимую с лучшими моделями с закрытым исходным кодом. Мы подробно изучаем техническую документацию, чтобы рассмотреть ключевые архитектурные инновации, такие как Kimi Delta Attention (KDA), Attention Residuals, Stable LatentMoE с Quantile Balancing, встроенное многомодальное зрение с MoonViT-V2 и инфраструктура микровиртуальных машин AgentENV для агентного обучения с подкреплением на долгосрочный горизонт. Свяжитесь со мной 🤝 • LinkedIn:   / george-kintu-k   • X: https://x.com/gk_kintu • IG:   / kintugk   Ссылки 🔗 • Статья о Kimi K3 (arXiv): https://arxiv.org/abs/2607.24653v1 • Репозиторий Kimi K3 Hugging Face: https://huggingface.co/moonshotai/Kim... • Репозиторий AgentENV на GitHub: https://github.com/kvcache-ai/AgentENV По вопросам сотрудничества: 📧 kintutech@gmail.com Характеристики ПК: Видеокарта: Nvidia RTX 5060 Ti 16 ГБ: https://amzn.to/4rU7xRy Оперативная память: 64 ГБ 4x16 ГБ Kingston Fury: https://amzn.to/473HoaG ⏱️ Таймкоды 0:00 Вступление: Kimi K3 и изменения в подходе к открытым весам 0:45 Контекстное окно 1M и гибридное внимание KDA 2:09 Объяснение остаточных значений внимания (AttnRes) 2:38 Стабильная латентная MoE и экспертная маршрутизация (параметры 2,8T) 3:52 Квантильная балансировка (QB) и защитные механизмы SiTU-GLU 4:37 Нативная мультимодальная визуализация с MoonViT-V2 5:04 Обучение агентов, микровиртуальные машины AgentENV и частичное развертывание 6:52 Производительность, тесты кода и экономическая эффективность 8:02 Локальное развертывание и заключительные мысли #KimiK3 #MoonshotAI #OpenSourceAI #AIAgents #ИскусственныйИнтеллект #МашинноеОбучение #LLM