Qwen 3.8 со скоростью 200 ток/с на M5 Max!

LithosAI утверждает, что их новый движок с открытым исходным кодом, lithos-metal, обрабатывает Qwen 3.8 27B со скоростью более 200 токенов в секунду на M5 Max. В их собственном промо-ролике показан пиковый результат 201 и средний 175 на одном из заданий по программированию. 168 в README — это прогноз, а их собственные измерения показали около 80. Мой Mac не может его установить (требуется macOS 26), поэтому я пересобрал лежащий в его основе алгоритм спекулятивного декодирования на своем M4 Pro с mlx-lm: Qwen3-8B в качестве большой модели и Qwen3-0.6B в качестве маленького вспомогательного элемента, который угадывает наперед. На коде скорость выросла с 47,5 до 84,3 токенов в секунду, что превышает собственный лимит скорости памяти моего Mac. На английском языке с семью попытками угадывания скорость упала до 29,3, что медленнее, чем без вспомогательного элемента вообще. Также в этом видео: почему пропускная способность памяти является ограничением скорости, почему собственный DSpark от DeepSeek меняет количество проверяемых попыток, в то время как lithos-metal проверяет фиксированное количество попыток — восемь, что предполагает проекция 168/127, почему предварительное заполнение важно для агентов кодирования и какие Mac действительно получают быстрый путь. Мой тест: mlx-lm 0.32.2, mlx-community/Qwen3-8B-4bit + mlx-community/Qwen3-0.6B-4bit, жадное декодирование, M4 Pro (20-ядерный графический процессор, 24 ГБ), macOS 15.7. Скорость — медиана по результатам 3 запусков. Выходной текст был идентичен с использованием и без использования инструмента для создания текста. Источники: репозиторий lithos-metal + README: https://github.com/lithos-ai/lithos-m... блог LithosAI (8 октября 2026 г.): https://www.lithosai.com/blog/lithos-... страница компании LithosAI: https://www.lithosai.com/company сообщение Чжихао Цзя о запуске проекта ("пик 200+ токенов/с/пользователь"): https://x.com/JiaZhihao/status/210824... исследование DSpark (3 октября): https://github.com/lithos-ai/lithos-m... Метод проекции: https://github.com/lithos-ai/lithos-m... Статья о DSpark (DeepSeek-AI, Пекинский университет): https://arxiv.org/abs/2607.05147 Apple: характеристики MacBook Pro https://www.apple.com/macbook-pro/specs/ · M4 Pro https://www.apple.com/newsroom/2024/1... · Исследование MLX + M5 https://machinelearning.apple.com/res... Qwen3.8-27B 4-бит (MLX): https://huggingface.co/mlx-community/... 30,5 ток/с на M5 Max (r/LocalLLM):   / 1vokoir   Отчет по M4 Pro, проблема #12: https://github.com/lithos-ai/lithos-m... Исправление предзаполнения, PR #1: https://github.com/lithos-ai/lithos-m... Релизы: https://github.com/lithos-ai/lithos-m... AA-AgentPerf-Local: https://artificialanalysis.ai/article... Спекулятивное декодирование mlx-lm: https://github.com/ml-explore/mlx-lm Проект спекулятивного декодирования lithos-metal: https://github.com/lithos-ai/lithos-m... Оригинальная карточка DSpark drafter (RadixArk): https://huggingface.co/RadixArk/Qwen3... Главы 0:00 200 токенов в секунду? 0:46 Кто создал Lithos-metal 1:21 Я восстановил трюк 2:20 Ограничение скорости памяти 3:19 Английский стал медленнее 4:08 Исправленные предположения против загруженных серверов 4:36 Три разных числа 5:41 Чтение перед письмом 6:30 На каких Mac это распространяется 7:23 Полная лестница