ПК, необходимый для работы локального ИИ любого размера

Локальные модели ИИ могут вмещать от 1 миллиарда объектов на телефоне до 1 триллиона на компьютере Mac стоимостью 22 299 долларов. Рассмотрим возможности каждой модели и самый дешевый компьютер для её реализации. #реклама Партнерские ссылки на NVIDIA RTX 5060 Ti 16GB, NVIDIA RTX 5060 8GB и еще 4 видеокарты из этого видео (я могу получить комиссию, без дополнительных затрат для вас): NVIDIA RTX 5060 Ti 16GB: https://www.amazon.com/dp/B0F4Y6N6PW?... NVIDIA RTX 5060 8GB: https://www.amazon.com/s?k=rtx+5060+8... NVIDIA RTX 3090 (б/у): https://www.amazon.com/dp/B094PSPVPC?... GMKtec EVO-X2 128GB: https://www.amazon.com/s?k=gmktec+evo... Apple Mac mini: https://www.amazon.com/dp/B0HGGJZ92H?... Apple Mac Studio: https://www.amazon.com/dp/B0HGKSQMX6?... Как партнер Amazon, я получаю доход от соответствующих покупок. Все размеры локальных моделей ИИ, от 1 миллиарда до более чем 1 триллиона параметров, объяснены для тех, кто никогда не запускал такие модели: на что действительно способен каждый размер, и самый дешевый компьютер, на котором это можно запустить, по ценам 30 октября 2026 года. Параметр — это одно из миллиардов чисел, которые модель изучает в процессе обучения, и каждый из них должен храниться в памяти во время работы модели. По нашим расчетам, файл 4-битной модели занимает около 0,6 ГБ на миллиард параметров (Qwen3 14B занимает 9 ГБ при Q4_K_M, Llama 3.3 70B — 42,5 ГБ), поэтому возьмите две трети вашей оперативной памяти и разделите на 0,6, чтобы получить максимальный размер, который может загрузить ваша машина: 16 ГБ — это примерно 17-битная модель. Ступенька за ступенькой. 1B: Gemma 4 E2B работает на телефоне со скоростью 46,9 ток/с на Galaxy S26 Ultra и 29,8 ток/с на ноутбуке с процессором Intel, что хорошо для перефразирования, составления резюме и простых вопросов, но не для фактов. 4B: Qwen3.5 4B (2,74 ГБ) подходит для любого ноутбука с 8 ГБ оперативной памяти и набирает 76,2 балла в тесте GPQA Diamond в собственном тесте Qwen, против 53,1 в лучшем случае для GPT-4o. 9B: Qwen3.5 9B (5,68 ГБ) на RTX 5060 8 ГБ (459,99 долл. США, 57,50 долл. США за ГБ), тогда как Qwen3 8B работает со скоростью 61,7 ток/с. 14B–20B: Qwen3 14B со скоростью 41,1 ток/с и gpt-oss-20b со скоростью 92,1 ток/с на RTX 5060 Ti 16 ГБ (799,99 долл. США, 50 долл. США за ГБ). 27B: Qwen 3.8 27B (16,5 ГБ) со скоростью 40,31 ток/с на подержанной RTX 3090 (1778 долл. США, 74,08 долл. США за ГБ) или 9,83 ток/с на Mac mini M6 24 ГБ (1099 долл. США). 70–235 бит: GMKtec EVO-X2 128 ГБ (3499,99 долларов США по акции, 27,34 доллара США за ГБ) работает с gpt-oss-120b со скоростью 46–50 ток/с, а Qwen3 235B-A22B — со скоростью 17,21 ток/с. 500 бит: DeepSeek V4.1 Flash на Mac Studio M5 Ultra 256 ГБ (от 9499 долларов США). 1 ТБ и более: Kimi K2.5 работает со скоростью 26,6 ток/с на Mac Studio 512 ГБ (M5 Ultra 512 ГБ стоит 22299 долларов США), а Kimi K3 (2,8 ТБ) требует 466 ГБ даже при 1-битном разряде. Число, которое никто не упоминает, — это активный размер. Модели, использующие комбинацию экспертных функций, такие как Qwen3.6 35B-A3B (3B активных) и gpt-oss-120b (5.1B активных), работают со скоростью, соответствующей их небольшому числу. На EVO-X2 gpt-oss-120b работает со скоростью 46 ток/с против 5,10 ток/с для плотной Llama 3.1 70B, что в 9 раз быстрее для более крупной модели (наши расчеты). Qwen3.6 35B-A3B работает со скоростью 40 ток/с на 8 ГБ RTX 5060 с 32 ГБ системной оперативной памяти, потому что llama.cpp хранит общие слои на карте, а экспертные функции — в системной оперативной памяти. Зритель спросил, какая модель умнее, Qwen 3.8 27B или Qwen 3.8 Flash Next: по данным собственного теста Qwen, Flash Next опережает SWE-bench Pro менее чем на один балл (62,5 против 61,7), но это 125-битная модель с 6 активными ядрами, для работы которой требуется около 55 ГБ оперативной памяти плюс видеопамять в 3-битном режиме в движке Strata. Новенькая побеждает большую. Qwen 3.5 9B набирает 81,7 балла в GPQA Diamond, опережая более старую Qwen 3 14B (64,0), Llama 3.3 70B (50,5) и gpt-oss-120b (80,1). В индексе искусственного интеллекта Qwen 3.8 27B набирает 20 баллов, DeepSeek V4.1 Flash и GLM-5.3 лидируют среди открытых моделей с 32 баллами, а Claude Opus 5.5 — 58 баллов. Пропускается Mac mini M6 16GB за 899 долларов, общий объем памяти которого составляет около 14 ГБ, что соответствует показателю 14B, характерному для ноутбуков с 16 ГБ памяти. Цены на локальное ИИ сегодня: https://locallyexplains.site/prices/ 0:00 Локальный ИИ любого размера, от 1 млрд до 1 триллиона 0:35 Что означает буква B в названии модели (и сколько памяти вам нужно) 1:54 1 млрд: Gemma 4 E2B на вашем телефоне 2:59 4 млрд: Qwen3.5 4 млрд на вашем ноутбуке 3:53 9 млрд: Qwen3.5 9 млрд на RTX 5060 8 ГБ 4:55 14–20 млрд: RTX 5060 Ti 16 ГБ 5:41 27 млрд: Qwen 3.8 27 млрд на подержанной RTX 3090 или Mac mini M6 24 ГБ 6:47 Число, которое никто не упоминает: активные параметры (35 млрд–A3 млрд, Flash...