Qwen 27B с контекстом 64K в 10 ГБ — лучше, чем Bonsai 2

Может ли Qwen 3.8 27B работать как серьёзный локальный агент для программирования на MacBook с 24 ГБ памяти? Я протестировал Underdog Saluki, 2-битную версию Qwen 3.8 27B объёмом 7,9 ГБ, предназначенную для локального вызова инструментов. Никакого облачного API, удалённого графического процессора и собственного стека агентов: только llama.cpp, OpenCode и MacBook. С помощью одной команды Saluki создал полноценный рабочий стол в стиле macOS, работающий в браузере: экран блокировки, Dock, Finder, Terminal, TextEdit, Spotlight, Центр управления, тёмный режим, общая файловая система и девять работающих приложений. Финальный проект достиг примерно 4000 строк кода в 30 файлах. Я также протестировал его на реальном веб-сайте о путешествиях, измерил скорость локального вывода, запустил длительные сеансы работы агента и нашёл настройки, которые предотвращают забывание работы, повторение действий или 22-минутное обдумывание перед записью файла. Saluki делает Qwen 3.8 27B практичным на оборудовании, где обычная 4-битная модель слишком велика. Но это не волшебное повышение скорости: на моем MacBook он генерировал около 7–12 токенов в секунду при длительной работе агента, поэтому большие проекты по-прежнему занимают часы. Разделы 0:00 Qwen 3.8 27B в 8 ГБ 0:42 Почему важна меньшая сборка Saluki 1:15 Что такое Underdog Saluki? 2:02 Тест 1: Создание туристического сайта 2:45 Тест 2: Рабочий клон macOS 3:18 Finder, Терминал, приложения и общие файлы 4:08 Реальная скорость локального агента кодирования 4:44 Каково это использовать на практике 5:29 Проблема контекстного окна 6:22 Почему режим размышления не сработал 7:11 Настройки, которые заставили его работать 7:45 ​​Запуск Saluki локально с llama.cpp и OpenCode 8:16 Окончательный вердикт В этом видео: • Запуск Qwen 3.8 27B локально в 2-битном файле размером 7,9 ГБ • Создание рабочего стола в стиле macOS с локальным агентом кодирования • Проект браузера из 4000 строк кода, полностью созданный на MacBook • Saluki против стандартной 4-битной сборки Qwen 3.8 27B • Аутсайдер Saluki, Apache 2.0, llama.cpp и объяснение OpenCode • Почему вызов инструментов важен для локальных агентов кодирования • Скорость локального Qwen 3.8 27B: 7–12 токенов в секунду в сессиях агентов • Как контекстное окно размером 64K исправляет циклы агентов и забытую работу • Почему режим мышления xhigh потратил 22 минуты, не записав файл • Точные настройки Saluki: контекст 64K, 8-битный KV-кэш, отключение мышления, температура 0.6, top-p 0.95 и top-k 20 Это один из практических тестов на MacBook с 24 ГБ памяти. Результаты могут меняться в зависимости от оборудования, длины контекста, настроек KV-кэша, квантизации, механизма вывода, фреймворка агента, сложности задачи и обновлений модели. Перед использованием в реальном проекте проверьте весь сгенерированный код. Подпишитесь на канал Morgans Code, чтобы получать практические локальные тесты ИИ, информацию о программируемых агентах, моделях с открытыми весами, бенчмарках и руководствах по оборудованию: https://www.youtube.com/@MorgansCode?... Голос и синтез Справочник по голосу: Корпус CSTR VCTK 0.92, лицензия CC BY 4.0. https://datashare.ed.ac.uk/handle/102... Синтез речи: Chatterbox TTS от Resemble AI, лицензия MIT. https://github.com/resemble-ai/chatte... #Qwen #LocalAI #CodingAgent