Хватит ли вашего 8 ГБ GPU для локального ИИ?

Модель, использующая смесь экспертов с 35 миллиардами параметров, может работать быстрее на видеокарте с 8 ГБ памяти, чем на видеокарте с меньшим объемом памяти — 27 ГБ. В этом видео объясняется, почему (на каждое слово обрабатывается всего около 3 миллиардов параметров), одна настройка в файле llama.cpp, которая удерживает экспертов в системной оперативной памяти (--n-cpu-moe), результаты измерений на RTX 4060, RTX 3060 и GTX 1650, а также подвох: вам потребуется около 32 ГБ системной оперативной памяти, что значительно дороже, чем год назад. И наконец: когда видеокарта с 16 ГБ памяти действительно оправдает себя. Все указанные скорости — это результаты измерений, опубликованные другими пользователями (ссылки ниже); Цены указаны по прейскуранту и индексу оперативной памяти Tom's Hardware по состоянию на октябрь 2026 года. 0:00 Модель 35B на видеокарте 8 ГБ 0:46 Совет: купите видеокарту на 16 ГБ 2:07 Почему более мощная модель быстрее 2:57 Измерено на RTX 4060 3:43 Единственная настройка: --n-cpu-moe 4:17 Результаты RTX 3060 и GTX 1650 5:18 Подвох: системная оперативная память 6:11 Сколько сейчас стоит оперативная память 7:01 Чем вы жертвуете 8:10 Когда стоит приобрести видеокарту на 16 ГБ это Источники: https://huggingface.co/Qwen/Qwen3.6-3... https://huggingface.co/unsloth/Qwen3.... https://github.com/ggml-org/llama.cpp... https://dev.to/plasmon_imp/moe-beat-d... mark-nobody-expected-24n https://insiderllm.com/guides/best-wa... https://tomshardware.com/pc-component... https://gpuprix.com/us/gpus/geforce-r...