EAGLE-4 только что ускорил Qwen3.8-27B в 3,6 раза!

EAGLE-4 заявляет о 3,59-кратном ускорении Qwen3.8-27B, превосходя DFlash 2, DSpark и встроенный MTP. Но где были измерены эти показатели, подтверждаются ли они при обычных настройках чата и можно ли запустить его локально? EAGLE-4 — это новый метод спекулятивного декодирования от оригинальной команды EAGLE (Eagle AI, возглавляемой Хунъяном Чжаном). В этом видео я подробно рассказываю, что такое спекулятивное декодирование, об одном секрете, отличающем EAGLE-4 (он знает, когда перестать угадывать), что на самом деле показывают бенчмарки при температуре 0 и 1 и при 512 пользователях, проверял ли кто-нибудь это, о нюансах лицензирования, о 3,6-кратном ускорении на процессоре телефона и о том, что следует запускать в llama.cpp, LM Studio или на Mac уже сегодня. Самое быстрое угадывание — это то, которое вы не делаете. 🔍 ЧТО ВЫ УЗНАЕТЕ • Простое объяснение спекулятивного декодирования: как MTP, DFlash 2, DSpark и EAGLE-4 ускоряют LLM без потери качества • Почему результат 3,59x был получен на 4 видеокартах NVIDIA B300 с одним пользователем при температуре 0 • Почему преимущество EAGLE-4 над DFlash 2 сокращается до ~8% при температуре 1 • Результаты с участием 512 пользователей, где DFlash 2 и DSpark оказались медленнее, чем при отсутствии ускорения • EAGLE-Harness и эффективная головка LM: две идеи, лежащие в основе EAGLE-4 • Бесплатный совет по ускорению, спрятанный в собственной таблице бенчмарков Eagle • Можно ли запустить EAGLE-4 локально? Статус llama.cpp, Ollama, LM Studio и MLX • Лицензия с открытым исходным кодом и что это может означать для llama.cpp • EAGLE-4 на телефоне Motorola: 23 → 83 токена/с на ЦП при вдвое меньшем энергопотреблении на токен • Что использовать сегодня для более быстрого Qwen3.8-27B дома ⏱️ РАЗДЕЛЫ 0:00 EAGLE-4: в 3,6 раза быстрее Qwen3.8-27B? 1:45 Кто создал EAGLE-4 2:41 Как работает спекулятивное декодирование и хитрость EAGLE-4 4:42 Точка перегрева 5:37 MTP против DSpark против DFlash 2 против EAGLE-4 7:52 Кто-нибудь это проверил? 8:38 Можно ли запустить EAGLE-4 локально? 10:09 EAGLE-4 на телефоне 11:38 Что использовать сегодня 12:41 Окончательный вердикт 📊 ОСНОВНЫЕ ПОКАЗАТЕЛИ (собственные тесты Eagle, Qwen3.8-27B, 4x NVIDIA B300) • 1 пользователь, температура 0: EAGLE-4 3.59x · DFlash 2 2.80x · DSpark 2.57x · MTP 2.22x • 1 пользователь, температура 1: EAGLE-4 2.59x · DFlash 2 2.39x · DSpark 2.21x · MTP 1.57x • 512 пользователей, температура 0: EAGLE-4 1.34x · MTP 1.01x · DFlash 2 0.78x · DSpark 0,67x • Телефон (Motorola Razr 70 Ultra, только процессор, Gemma 4 E2B 4-бит): 22,8 → 82,6 токенов/с • Черновик EAGLE-4 для Qwen3.8-27B: 6,18 ГБ (BF16) 🔗 ССЫЛКИ И ИСТОЧНИКИ Код и статья EAGLE-4: https://github.com/eagle-hq/EAGLE-4 Анонс EAGLE-4: https://blog.eagle.ai/blog/introducin... Черновик EAGLE-4 для Qwen3.8-27B: https://huggingface.co/EAGLE-Corp/Qwe... DFlash 2 (Inco AI): https://inco.ai/blog/dflash2/ Статья DSpark (DeepSeek): https://arxiv.org/abs/2607.05147 Документация по спекулятивному декодированию в llama.cpp: https://github.com/ggml-org/llama.cpp... Список изменений LM Studio: https://lmstudio.ai/changelog/lmstudio Порт MLX от сообщества (DSpark / DFlash 2 на Mac): https://github.com/ARahim3/mlx-dspark 🙌 ПОДДЕРЖИТЕ КАНАЛ Станьте участником канала, чтобы получать приоритетные ответы при выборе ускорения для вашей видеокарты или Mac, а также видео только для участников: [ссылка] 💬 Какое ускорение вы используете сейчас: MTP, DFlash 2, DSpark или ничего? Напишите в комментариях. Я их читаю. 📌 Показатели бенчмарка принадлежат Eagle AI, если не указано иное. На момент записи не существовало возможности независимого воспроизведения. EAGLE-4 доступен в исходном коде, но не является открытым исходным кодом, поэтому перед любым коммерческим использованием проверьте лицензию. Это не спонсируется, и я не имею никакого отношения к Eagle AI, Inco AI, DeepSeek или Alibaba. #EAGLE4 #LocalAI #Qwen #SpeculativeDecoding #LocalLLM #llamacpp #LLM