Перейти к содержимому

Какой компьютер купить для работы с локальным ИИ при любом бюджете

Locally

0:00 / 0:00

Какой компьютер купить для работы с локальным ИИ при любом бюджете

6 150 просмотров · 5 дн. назад
Locally
4,05 тыс. подписчиков
6 150 просмотров · 5 дн. назад
Для локального тестирования ИИ было потрачено 1500, 2500 и 3500 долларов тремя способами: на настольном компьютере с графическим процессором, на ноутбуке и на мини-ПК. На этом изображении показано, какие программы и с какой скоростью они работают. #реклама Партнерские ссылки на мини-ПК Ryzen AI Max+ 395 (128 ГБ), 128 ГБ работает с моделями 120B, NVIDIA RTX 3090 (б/у), 24 ГБ, высокая скорость за доллар и еще 3 товара из этого видео (я могу получить комиссию, без дополнительных затрат для вас): Мини-ПК Ryzen AI Max+ 395 (128 ГБ), 128 ГБ работает с моделями 120B: https://www.amazon.com/s?k=ryzen+ai+m... NVIDIA RTX 3090 (б/у), 24 ГБ, высокая скорость за доллар: https://www.amazon.com/s?k=rtx+3090+2... Apple Mac mini, тихий настольный компьютер с унифицированной памятью: https://www.amazon.com/s?k=apple+mac+... NVIDIA RTX 5060 Ti 16GB, игровая видеокарта начального уровня на 16 ГБ: https://www.amazon.com/s?k=rtx+5060+t... AMD Radeon AI PRO R9700, видеокарта на 32 ГБ, с возможностью расширения: https://www.amazon.com/s?k=radeon+ai+... Как партнер Amazon, я получаю доход от соответствующих покупок. Настольный компьютер с RTX 5060 Ti и 16 ГБ памяти за 1500 долларов работает на процессоре Qwen3 14B с частотой 41 ток/с, что более чем вдвое превышает производительность Mac mini M6, но Mac mini с 32 ГБ памяти работает на 4-битном процессоре Qwen 3.8 27B, тогда как настольный компьютер с 16 ГБ памяти вынужден работать в 3-битном режиме. Мы оценили стоимость настольного компьютера, ноутбука и мини-ПК в трех ценовых категориях (1500, 2500 и 3500 долларов) на основе реальных моделей, которые можно будет заказать в октябре 2026 года, и рассчитали стоимость одного ГБ памяти и одного ток/с для каждой модели, а также годовые затраты на электроэнергию. Представлены 9 моделей: ABS Cyclone с RTX 5060 Ti 16 ГБ (1599,99 долларов), MacBook Air 13" M5 24 ГБ (1499 долларов), Mac mini M6 32 ГБ (1499 долларов), PRC PearlGlass в сборе с RTX 3090 24 ГБ (2549,99 долларов), MSI Stealth A16 AI+ с RTX 5080 16 ГБ (2599,99 долларов), Mac mini M5 Pro 48 ГБ (2499 долларов), сборка из комплектующих с Radeon AI PRO R9700 32 ГБ (3416,84 долларов), ASUS ROG Flow Z13 128 ГБ (3299,99 долларов) и GMKtec EVO-X2 128 ГБ с Ryzen AI Max+ 395. (3499,99 долларов). Цифра, которую никто не упоминает: производительность MacBook Air M5 без вентилятора падает с 57 до 39 ток/с на Qwen3 30B-A3B примерно через две с половиной минуты, что составляет 32% от прежней скорости, потому что ему приходится замедляться, чтобы оставаться холодным. А у ноутбука RTX 5080 те же 16 ГБ, что и у настольного RTX 5060 Ti за 1600 долларов, поэтому он стоит на 1000 долларов дороже, не учитывая возможности установки более крупной модели. Как мы их сравнивали: скорость локального ИИ определяется объемом памяти (помещается ли модель в видеопамять или в унифицированную память, с учетом контекста) и пропускной способностью памяти (скорость декодирования примерно равна пропускной способности, деленной на размер модели: Mac mini M6 читает 170 ГБ/с, 4-битная 27-битная модель занимает около 17 ГБ, поэтому ее потолок составляет около 10 ток/с, а ComputerBase измерил 9,5). Для каждой машины мы указываем самую большую модель, которая подходит, Указаны опубликованные значения tok/s с точной моделью, количеством и временем выполнения, текущая цена в США с указанием её местоположения, цена за ГБ памяти модели и, если существует запись о запуске Qwen 3.8 27B, цена за tok/s. Мы не тестировали эти машины сами; все значения скорости взяты из обзоров, бенчмарк-сайтов или опубликованных записей владельцев, ссылки на которые приведены ниже. Видеокарты для ноутбуков отличаются от настольных видеокарт, в честь которых они названы. Видеокарта RTX 5090 для ноутбуков имеет 24 ГБ и 896 ГБ/с (настольная RTX 5090 имеет 32 ГБ и 1792 ГБ/с), видеокарта RTX 5080 для ноутбуков имеет 16 ГБ с 896 ГБ/с и работает при мощности 105 Вт в MSI Stealth A16 против 360 Вт у настольной карты, а видеокарта RTX 5070 Ti для ноутбуков имеет 12 ГБ, а не 16 ГБ. В Windows используется Ryzen AI Max+. 395 машин позволяют использовать до 96 ГБ из своих 128 ГБ памяти для графики; Linux допускает больше. Цены указаны по состоянию на 28 октября 2026 года, а цены на память в этом месяце высоки (32 ГБ DDR5-6000 стоят 459,99 долларов), поэтому все объявления указаны ниже. Цены на оборудование для ИИ на сегодняшний день: https://locallyexplains.site/prices/ 0:00 Настольный компьютер, ноутбук и мини-ПК по одинаковой цене 0:36 Что определяет выбор: память и пропускная способность 1:41 Настольный компьютер за 1500 долларов: RTX 5060 Ti 16 ГБ в корпусе Tower 2:36 Ноутбук за 1500 долларов: MacBook Air M5 снижает производительность на 32% 3:36 Мини-ПК за 1500 долларов: Mac mini M6 подходит для Qwen 27B 4:41 Настольный компьютер за 2500 долларов: RTX 3090 в корпусе Tower по цене 66 долларов за tok/s 5:44 Ноутбук за 2500 долларов: ловушка назва...