ВСЕ СПОСОБЫ ПОЛУЧИТЬ 128 ГБ ВИДЕОПАМЯТИ ДЛЯ ЛУЧШИХ ЛОКАЛЬНЫХ LLM! DGX SPARK, MAC STUDIO ПРОТИВ МО...

Все говорят, что для запуска лучших локальных LLM-моделей дома требуется 128 ГБ видеопамяти. Сегодня я протестировал все варианты на страницах реальных магазинов, от мини-ПК AMD до Mac Studio, NVIDIA DGX Spark и одной видеокарты с 96 ГБ памяти, а затем сравнил их со своим ПК: RTX 3060 с 12 ГБ и 64 ГБ оперативной памяти, работающей с Qwen3.8 Flash Next с 125 миллиардами параметров. Я протестировал совершенно новый кэш GPU из llama.cpp для экспертов MoE на видеокарте с 12 ГБ памяти (это замедлило все настройки, и я покажу почему), измерил производительность Strata 0.2.7 на том же файле (36,5 токенов в секунду, в 3,4 раза больше, чем у llama.cpp) и дал модели, работающей локально, те же шесть запросов, что и Claude Opus 5.5 и GPT-6.1 Sol в моем предыдущем тесте. Честный результат — в конце. 00:00 Вам действительно нужно 128 ГБ? 00:56 Почему 128 ГБ, и почему модель читает всего 6 байт на слово 02:04 Скрытый лимит: GPU получает около 96 ГБ 02:38 Вариант 1: AMD Ryzen AI Max (Strix Halo) 03:36 Вариант 2: Mac Studio M5 Max 04:01 Вариант 3: NVIDIA DGX Spark 04:36 Вариант 4: Ноутбуки RTX Spark (Surface Laptop Ultra) 05:13 Вариант 5: четыре видеокарты по 32 ГБ 05:36 Вариант 6: RTX PRO 6000 или аренда 05:54 Вариант 7: ПК, который у вас уже есть 06:31 llama.cpp 0.8 и новый кэш MoE, шаг за шагом 07:53 На 12 ГБ кэш замедляет работу 08:25 Strata 0.2.7 на том же файле 09:02 Та же карта, тот же файл: 10,7 против 36,5 токенов/с 09:21 Моя карта против коробок на 128 ГБ 09:40 Четвертый момент: качество и цена 10:19 Ограничения и кому что следует покупать 10:52 Что моя карта собирает на подсказках Opus 5.5 / Sol 11:59 Честное сравнение Запустите все сборки в браузере: https://ruocco.it/ai-demos/qwen3-8-fl... Точные подсказки, код и команды (Академия Ruocco, список ожидания): https://ruocco.it/academy/ Моя тестовая конфигурация: i5-12400, RTX 3060 12 ГБ, 64 ГБ DDR4, Windows 10. Файл модели: ISTA-DASLab Qwen3.8-Flash-Next GSQ-RCO IQ3_S (3-бит, 78 ГБ). llama.cpp b11954 / 0.8.0 (b11960), Strata 0.2.7 (движок 0.1.52). Скорость записи = медиана 3 ответов по 256 токенов, ничего больше не открыто; показатели на камере ниже, потому что программа записи экрана использует ту же карту памяти. Скорость других машин указана разработчиками. Цены указаны на страницах от 28 октября 2026 г. (Framework в евро, из Европы). Одна сборка на запрос — это один пример, а не бенчмарк; исправления отмечены в коде, а оригиналы опубликованы. Источники: Видеокарта Qwen3.8-Flash-Next: https://huggingface.co/Qwen/Qwen3.8-F... Рецепт vLLM: https://recipes.vllm.ai/Qwen/Qwen3.8-... Bosgame M5: https://www.bosgamepc.com/products/bo... Minisforum MS-S1 MAX: https://store.minisforum.com/products... Framework Desktop: https://frame.work/desktop Gufo: https://community.frame.work/t/gufo-t... Guru3D, Framework 192 ГБ: https://www.guru3d.com/story/framewor... Apple Mac Studio: https://www.apple.com/shop/buy-mac/ma... The Register, цены на DGX Spark: https://www.theregister.com/a/5300622 Strata 0.2.7: https://github.com/Niko1221/Strata/re... Surface Laptop Ultra: https://www.microsoft.com/en-us/surfa... StorageReview: https://www.storagereview.com/review/... TechRadar, Radeon AI PRO R9700: https://www.techradar.com/pro/amds-fa... PC Gamer, Arc Pro B70: https://www.pcgamer.com/hardware/grap... GPUPrix, RTX PRO 6000: https://gpuprix.com/us/gpus/rtx-pro-6... RunPod: https://www.runpod.io/pricing Tom's Hardware Индекс цен на оперативную память: https://www.tomshardware.com/pc-compo... llama.cpp PR #29887: https://github.com/ggml-org/llama.cpp... llama.cpp releases: https://github.com/ggml-org/llama.cpp... Akita on Rails benchmark: https://akitaonrails.com/en/2026/10/2... mlx-serve: https://github.com/ddalcu/mlx-serve Названия продуктов используются только для их описания; Не спонсируется и не аффилировано ни с одной из этих компаний. #LocalAI #LocalLLM #RTX3060