Лучший локальный ИИ, который можно запустить без видеокарты

Процессор Qwen3 30B-A3B помещается в 32 ГБ оперативной памяти и обеспечивает скорость записи 22-34 ток/с на процессоре в публичных тестах. #реклама Партнерские ссылки на NVIDIA RTX 3060 12GB (более дешевая из этих двух карт) и NVIDIA RTX 3090 (б/у), 24GB (быстрая работа с плотностью 27 байт) из этого видео (я могу получить комиссию, без дополнительных затрат для вас): NVIDIA RTX 3060 12GB (более дешевая из этих двух карт): https://www.amazon.com/s?k=rtx+3060+1... NVIDIA RTX 3090 (б/у), 24GB (быстрая работа с плотностью 27 байт): https://www.amazon.com/s?k=rtx+3090+2... Как партнер Amazon, я получаю доход от соответствующих покупок. Что работает при любом объеме оперативной памяти, октябрь 2026 г. Qwen3 30B-A3B помещается в 32 ГБ оперативной памяти и записывает от 22 до 34 токенов в секунду на настольном процессоре без видеокарты в публичных тестах. Настольный процессор Ryzen 9 9950X3D записывает плотное слово Qwen3 32B со скоростью около 3,5 токенов в секунду и ждет 27 секунд до первого слова. Разница заключается в активных параметрах, и она определяет, что может запустить ПК или ноутбук только с процессором. Мы рассчитали максимальную скорость для каждой конфигурации оперативной памяти (пропускная способность памяти, деленная на объем чтения в ГБ на токен), стоимость ГБ оперативной памяти DDR4 и DDR5 в долларах США по сравнению с видеокартой с 16 ГБ памяти по ценам октября 2026 года, а также время, необходимое процессору для чтения документа из 4000 токенов, по сравнению с подержанной RTX 3060. Рассматривались следующие модели: Qwen3.5 4B и 9B, gpt-oss-20b, Qwen3 30B-A3B, Qwen3.5 35B-A3B, Qwen3.6 35B-A3B, Qwen3 32B, Qwen 3.8 27B, Qwen3 Coder Next и Qwen 3.8 Flash Next, на ноутбуке 2018 года, ноутбуке с 16 ГБ памяти Ryzen AI, настольном компьютере с 32 ГБ памяти DDR5, старом ПК с DDR4 и с объемом оперативной памяти от 64 ГБ до 128 ГБ. Оперативная память больше не дешева: DDR5 стоит почти в 5 раз дороже, чем год назад, комплект 32 ГБ DDR5-6000 стоит около 460 долларов на Newegg, а 16 ГБ RX 9060 XT — около 520 долларов. Комплект 32 ГБ DDR4-3200 стоит около 210 долларов, что менее половины цены DDR5 за ГБ. Вот результаты работы системы только с процессором для каждого объема оперативной памяти. На ноутбуках с 8–16 ГБ оперативной памяти лучше всего подходят небольшие модели Qwen: Qwen3.5 4B имеет объем менее 3 ГБ и набирает 79,1 балла в тесте MMLU-Pro на собственной карте Qwen, а Qwen3.5 9B (файл Q4_K_M размером 5,7 ГБ) по нашим расчетам, основанным на результатах измеренного запуска 7B, должен обеспечивать скорость записи около 7 ток/с на ноутбуке с Ryzen AI. gpt-oss-20b — это модель объемом 11,6 ГБ, представляющая собой смесь экспертных настроек с 3,6 миллиардами активных параметров, и ноутбук с 32 ГБ памяти Ryzen AI 9 HX 370 записывает свою 8-битную версию примерно со скоростью 21 ток/с на процессоре. Qwen3 30B-A3B и Qwen3.5 35B-A3B с 32 ГБ памяти помещаются с запасом места; карта Qwen показывает результат 69,2 в SWE-bench Verified для 35B-A3B против 72,0 у GPT-5 mini. При объеме памяти 64 ГБ и 96 ГБ, Qwen3 Coder Next (80 байт с примерно 3 байтами активных, файл 51 ГБ) и Qwen 3.8 Flash Next (указанный Qwen как 125 байт с 6 байтами активных, 2-битный файл 79 ГБ) работают на процессоре со скоростью около 8 и 11 токенов/с, согласно публичным отчетам. Пока нет открытых данных о весах Qwen 4. Мы также рассмотрим, почему количество ядер процессора практически не имеет значения для записи токенов (тест потоков llama.cpp зависает после примерно 8 потоков), почему чтение по подсказкам — это то, где процессор действительно проигрывает, почему комплект DDR5 на 128 ГБ (4 планки) примерно за 2400 долларов — это то обновление оперативной памяти, которое мы бы пропустили, и как llama.cpp может разделить большую модель между видеокартой и системной оперативной памятью. Подержанная RTX 3060 12 ГБ стоимостью около 370 долларов запускает Llama 3.1 8B со скоростью примерно 51 ток/с против 14 токов/с на Ryzen 9 9950X3D, а подержанная RTX 3090 запускает Qwen 3.8 27B со скоростью около 40 токов/с в контексте 4K, против предельной скорости процессора менее 6 токов/с по нашим расчетам. Все измеренные скорости получены в ходе публичного тестирования, все оценки обозначены как наши расчеты, все цены указаны по состоянию на октябрь 2026 года, и ничто в этом видео не тестировалось нами. Цены на местное оборудование для ИИ сегодня: https://locallyexplains.site/prices/ 0:00 Что работает на 32 ГБ ОЗУ без видеокарты 0:28 Скорость вашей оперативной памяти определяет ограничение скорости 1:22 Старый ноутбук все еще работает на небольшой Qwen 2:22 Ноутбук с 16 ГБ работает на Qwen3.5 9B 3:38 Gpt-oss-20b — сюрприз для ноутбука 4:41 32 ГБ — оптимальный объем для Qwen 30B-A3B 5:45 Плотные модели — это то, где процессор сдается 6:39 Оперативная память DDR5 стоит почти в 5 раз дороже, чем раньше 8:20 64 ГБ и 96 ГБ достигают Qwen Coder Next и Flash Next 9:27 Обновление до 128 ГБ ОЗУ, которое я бы пропустил 10...