Перейти к содержимому

Потянет ли ваш локальный ИИ модель Qwen 4.0?

Locally

0:00 / 0:00

Потянет ли ваш локальный ИИ модель Qwen 4.0?

1 688 просмотров · 5 часов назад
Locally
3,4 тыс. подписчиков
1 688 просмотров · 5 часов назад
В Qwen4 27B должна поместиться видеокарта RTX 5060 Ti 16GB стоимостью 799,99 долларов. Для Qwen 4 Max требуется около 1,2 ТБ, больше, чем для любого настольного компьютера. Это промежуточный вариант. #реклама Партнерские ссылки на RTX 5060 Ti 16GB, б/у RTX 3090 и еще 5 видеокарт из этого видео (я могу получить комиссию, без дополнительных затрат для вас): RTX 5060 Ti 16GB: https://www.amazon.com/s?k=rtx+5060+t... Б/у RTX 3090: https://www.amazon.com/s?k=rtx+3090+2... RTX 5090: https://www.amazon.com/s?k=rtx+5090+3... Комплект оперативной памяти G.Skill 96GB DDR5: https://www.amazon.com/s?k=g.skill+96... RTX 3060 12 ГБ: https://www.amazon.com/s?k=rtx+3060+1... Mac mini M6: https://www.amazon.com/s?k=mac+mini+m... GMKtec EVO-X2: https://www.amazon.com/s?k=gmktec+evo... Как партнер Amazon, я получаю доход от соответствующих покупок. Qwen 4 находится на стадии тестирования на Alibaba, дата релиза пока неизвестна, но Qwen 3.8 и предварительная версия Qwen 3.8 Flash Next показывают, что потребуется для каждого размера. Qwen 3.8 27B имеет 16,5 ГБ памяти в Q4_K_M и 10,9 ГБ в IQ3_XXS, поэтому открытая версия 27B должна работать на видеокарте с 16 ГБ памяти. Для модели с открытым базовым объемом 2,4 ТБ под управлением Qwen 3.8 Max требуется около 1,2 ТБ при 4-битной архитектуре, что больше, чем у любого настольного компьютера, который можно купить, даже у готовящегося к выходу Mac Studio на 512 ГБ. Мы рассчитали стоимость ГБ оперативной памяти для каждой модели по ценам октября 2026 года: 50 долларов за ГБ для RTX 5060 Ti 16 ГБ (799,99 долларов), 71 доллар за подержанную RTX 3090 24 ГБ (около 1700 долларов), 243 доллара за RTX 5090 32 ГБ (7769,99 долларов, самая низкая цена на Newegg), 41 доллар за Mac mini M6 32 ГБ (1299 долларов), 27 долларов за 128 ГБ GMKtec EVO-X2 с Ryzen AI Max+ 395 (3499,99 долларов) и 37 долларов за Mac Studio M5 Ultra 256 ГБ (9499 долларов). Мы также рассчитали стоимость токена в долларах за секунду: около 41 доллара за RTX 3090 и 103 доллара за RTX 5090 на Qwen 3.8 27B Q4_K_M. В этом видео рассказывается о том, что такое Qwen 4 (Max, Plus, Flash и открытая 27-битная версия), как Qwen 3.8 27B, Qwen 3.8 Flash Next и Qwen 3.8 Max сравниваются с Claude Opus, и какое оборудование работает с каждой версией llama.cpp, LM Studio и MLX: RTX 5060 Ti, ноутбук с RTX 5070, подержанные RTX 3090, RTX 5090, RTX 3060 12 ГБ с 96 ГБ DDR5, Mac mini M6, боксы Strix Halo, такие как GMKtec EVO-X2 и Bosgame M5, и Mac Studio M5 Ultra. Qwen4 27B на 16 ГБ: Qwen 3.8 27B не помещается на 16-гигабайтную карту в Q4_K_M (16,5 ГБ), но файл IQ3_XXS от Unsloth (10,9 ГБ) помещается. Один владелец RTX 5060 Ti с 16 ГБ памяти запускает 9,3-гигабайтный 3-битный файл с урезанным словарем со скоростью чуть более 50 токена/с с многотокенным предсказанием при контексте около 100 000 в llama.cpp; обычные 3-битные запуски на этой карте показывают скорость около 29 токена/с. На 8-гигабайтной видеокарте RTX 5070 для ноутбука 9,0-гигабайтный файл IQ2_XXS работает со скоростью 13,1 токена/с с контекстом 4K. Qwen4 27B на 24 ГБ и 32 ГБ: кэш KV занимает 64 КиБ на токен, около 4 ГБ при контексте 65K, поэтому Q4_K_M плюс длинный чат требует около 20,5 ГБ и подходит для подержанной RTX 3090 24 ГБ. RTX 5090 32 ГБ также вмещает файл Q8_0 (29 ГБ), но стоит 7769,99 долларов США в новом состоянии на Newegg при рекомендованной розничной цене в 1999 долларов США. Qwen 4 Flash: Qwen 3.8 Flash Next имеет 125-байтовые параметры ядра с 6-байтовыми активными параметрами на токен, плюс 51-байтовое встраивание n-грамм, которое не задействует графический процессор. Самый маленький файл Unsloth имеет размер 72,5 ГБ, а в его руководстве требуется 75 ГБ памяти, в идеале 96 ГБ. Файл IQ4_XS (93,7 ГБ) подходит для 128-гигабайтного накопителя Strix Halo, а файл Q8_0 (192 ГБ) — для 256-гигабайтного Mac Studio M5 Ultra. Цены указаны по состоянию на 19 октября 2026 года и меняются каждую неделю. Вес накопителей Qwen 4 ещё не опубликован, поэтому все указанные здесь размеры запланированы на основе Qwen 3.8; мы проверим их по реальным файлам Qwen 4, когда они появятся. Цены на местное оборудование для ИИ сегодня: https://locallyexplains.site/prices/ 0:00 Что нужно Qwen 4, от 16 ГБ до 512 ГБ 0:34 Что представляет собой Qwen 4 на самом деле 1:36 Сколько ГБ требуется для миллиарда параметров 2:49 Qwen 3.8 27B против Claude Opus в программировании 3:44 Qwen4 27B на 16 ГБ RTX 5060 Ti 5:07 Qwen4 27B на подержанной RTX 3090 5:58 Пропустите RTX 5090 для Qwen 4 6:55 Прошивка Qwen 4 на 12 ГБ видеопамяти и 96 ГБ оперативной памяти 8:29 Можно ли скачать Qwen 4 и запустить его в приватном режиме 9:05 Qwen4 27B на 32 ГБ Mac mini 9:47 128 ГБ Strix Halo box для Qwen 4 Flash 10:52 Mac Studio M5 Ultra для Qwen 4 Flash на 8 бит 11:36 Qwen 4 Max требует больше памяти, чем любой настольный компьютер 12:24 Какой компьютер Qwen 4 купить для каждого бюджета Смотрите д...