Сможет ли модель на 3.5 ГБ заменить мой основной инструмент на 35B? (Bonsai 27B)

PrismML сжал плотную модель Qwen размером 27 байт до 3,5 ГБ с истинными 1-битными весами. Не квантизация: веса обучались как −1/+1 с самого начала. Поэтому я сравнил обе сборки Bonsai со своей основной рабочей системой — Qwen 3.6 35B MoE с 21 ГБ памяти, плюс Gemma 4 12B в качестве контрольной модели разумного размера, и провел около тридцати тестов на одной RTX 3060. Тот же бланк с информацией на главной странице. Тот же неработающий сервер по SSH. Те же настройки выборки, тот же квант кэша KV, тот же уровень сложности — для каждой модели. Результаты меня удивили не раз. Модель размером 21 ГБ работает более чем в два раза быстрее, чем модель размером 7 ГБ, и причина не имеет ничего общего с размером файла. Единственная модель, которая не смогла надежно завершить длительную задачу, была не самой маленькой. А целесообразность использования Bonsai на вашей машине зависит от цифры, которую почти никто не указывает в технических характеристиках. Если вы запустите это на Mac или небольшой видеокарте, расскажите, что у вас получилось, в комментариях. РАЗДЕЛЫ 0:00 Две модели, один неработающий сервер 0:39 Что такое Bonsai на самом деле (1-битное преобразование против квантования) 3:24 Тест 1 — может ли он создать веб-страницу? 6:34 Тест 2 — отладка по SSH, все прошли 9:26 Тест 3 — ловушка, которая сохраняется после перезапуска 13:29 Где происходит сбой (цикл Джеммы) 15:35 Почему большая модель быстрее (A3B против Dense) 17:54 Число, которое никто не называет (общий размер) 20:06 Вердикт — кому что следует запускать МОДЕЛИ Bonsai 27B (бинарный Q1_0, 3,5 ГБ / тернарный Q2_0, 7 ГБ): [https://huggingface.co/prism-ml] Qwen 3.6 35B-A3B: [https://huggingface.co/unsloth/Qwen3....] llama.cpp Поддержка Metal Q2_0 (объединена): github.com/ggml-org/llama.cpp/pull/25419 Поддержка CUDA Q2_0 в llama.cpp (открытый PR, на основе которого я создал проект): github.com/ggml-org/llama.cpp/pull/25707 КОНФИГУРАЦИЯ: RTX 3060 12 ГБ llama.cpp, созданный на основе PR #25707 Кэш KV q8_0 (для всех моделей) Уровень сложности рассуждений средний (для всех моделей) MoE работает с 26 экспертными слоями, выгруженными в системную оперативную память МОИ РЕЗУЛЬТАТЫ В КРАТКОМ ОБЗОРЕ Скорость генерации на глубине (tg, токенов/сек): MoE 47,9 · Bonsai Q1 34,7 · Bonsai Q2 21,6 Общий объем используемой памяти: MoE ~21 ГБ (10,5 ГБ видеопамяти + 10.6 ОЗУ) троичное 8.8 ГБ двоичное 5.3 ГБ Задача восстановления сервера, время выполнения: MoE ~56 с троичное ~114 с двоичное ~134 с Тест проектирования: троичное и MoE попадают в один класс. Двоичное и Gemma находятся на ступень ниже. #localai #llm #bonsai #quantization #1bit #qwen #llamacpp #selfhosted #ai #rtx3060