Насколько быстро RTX 3060 на самом деле тянет модель на 35B (улучшение llama.cpp)?

Я создал кэш экспертов для моделей MoE, самые популярные эксперты храню в видеопамяти, а остальные обрабатываю из системной оперативной памяти. Базовое значение было 42. Вот что потребовалось, чтобы понять, почему, и к чему это привело: 80 токенов в секунду на пике, и всё ещё более 70 с реальным контекстом в окне. Одна RTX 3060. Модель 35B. Неожиданная часть: сам по себе кэш почти ничего не стоит. Ценность ему придаёт то, как он влияет на спекулятивное декодирование. ⚙️ ДВА ФЛАГА Всё остальное здесь — это команды, которые вы уже запускали. Эти два — новые: --moe-cache-profile [path.csv] --moe-cache-slots [n] Полные команды, оба шага, в закреплённом комментарии. ⏱️ РАЗДЕЛЫ 0:00 Введение 0:31 Кладбище 2:35 Данные говорят, что не стоит 5:47 Сборка и удар под дых 7:42 Предательство планировщика 10:54 Увеличение производительности 14:08 Почему это работает 17:58 Ваша видеокарта 📊 ЦИФРЫ базовый уровень, без кэша ............ 42 ток/с кэш "работает" ............... 6 ток/с ← два дня кэш фактически работает ........ 44 ток/с кэш, 124 слота .............. 55 ток/с спекулятивное декодирование само по себе .... 55 ток/с оба вместе ................. 70 ток/с ← больше, чем по отдельности параллельные цепочки GPU/CPU ....... 75 ток/с пик .......................... 80 ток/с с реальным контекстом ............. 70+ tok/s ⚠️ ПОМОЖЕТ ЛИ ЭТО ВАМ? Зависит от того, сколько модулей помещается в модель. На 3060 с 35B помещается примерно половина модулей Expert, и прирост большой. На модели 118B, где помещается только 36 из 256 модулей Expert, прирост падает до 5%. При уровне менее 15–20% фиксированный набор модулей перестает быть оптимальным решением. В главе 7 рассматривается, где проходит граница для вашей карты. 🔧 НАСТРОЙКА Qwen3.6-35B-A3B UD-Q4_K_M RTX 3060 12 ГБ · Ryzen 5600X · 30 ГБ ОЗУ · Ubuntu 24.04 llama.cpp с кэшированием MoE Expert — Если вы запускаете модели локально и хотите получить больше от уже имеющегося у вас оборудования, то этот канал именно для этого. Подписывайтесь, впереди ещё много интересного. #localllm #llamacpp #rtx3060 #qwen3 #selfhostedai ​​#localai