Может ли одна видеокарта действительно запустить 321 миллиард параметров?

В проекте Maya утверждается, что GLM-5.3-Flash — 321 миллиард параметров, из которых около 18 миллиардов активных — работает на одном потребительском графическом процессоре NVIDIA. Полезный вопрос: это рабочая станция, которую вы будете оставлять включенной постоянно, или просто трюк, который загружается и тормозит? Z.ai выпустила Flash 26 августа 2026 года в виде модели кодирования/визуализации MIT размером 320B-A18B (Hugging Face и Maya округляют контрольную точку до 321B). Самый маленький 1-битный файл Unsloth занимает около 93 ГБ и требует около 100 ГБ оперативной и видеопамяти вместе взятых. 24 ГБ RTX 3090 не вмещает эту библиотеку. Maya, разработанная PeasantSmith в начале октября, не является уменьшенной версией GLM. Это переписанный для GLM движок переобучения семейства Strata: лучшие специалисты работают на GPU, следующая половина — в оперативной памяти, а холодная половина — на NVMe. Вы увидите: Почему 321 байт — это хранилище, а ~18 байт — это вычислительный сегмент Почему вывод целых слоев в llama.cpp — это совсем другое дело, чем обращение к отдельным экспертам Почему 118 токенов/с — это четыре RTX 4090, а для системы класса 3090, по словам владельца, требуется ~20–24 токена Maya-S против FP8 на простом наборе тестов (97,9% / 83% согласия токенов) — не тесты Opus Флэш-память производителя против Opus 4.8 и пересекающиеся строки Qwen 3.8 Flash-Next, при этом используемые модули не идентичны Когда следует сохранять Strata/Qwen, когда устанавливать Maya-S24 и почему путь Unsloth к ~100 ГБ — это другая машина Скорость указана по словам владельца и автора, а не измерена здесь. Linux — это реальный продукт; Windows и AMD — экспериментальные версии. Не следует смешивать путь Maya с 32 ГБ ОЗУ + SSD с объединенной памятью Unsloth/llama.cpp. Главы 00:00 – 321B. Одна видеокарта. 00:29 – Библиотека 320 байт, фрагмент 18 байт 01:02 – 3090 не может вместить 321 байт 01:25 – Maya – это картридж GLM 01:54 – Экспертная подкачка, а не переполнение слоев 02:26 – SSD – это хранилище 02:58 – Одна видеокарта говорит 03:11 – 118 токов/с – это четыре 4090 03:33 – 3090 – это около 20 03:58 – Maya-S: 97,9% легко, 83% токенов 04:38 – Тестовые стенды производителей – это не Maya-S 05:11 – Flash против Qwen 3.8 05:52 – 18 байт против 6 байт: выбирайте дверь 06:31 – Не смешивайте путь 100 ГБ 07:06 – Слот GLM, S24, название Решено #projectmaya #glm #glm5 #zai #localllm #localai #rtx3090 #mixtureofexperts #strata #qwen #unsloth #llamacpp #huggingface #opensourceai #codingagents #nvme Вопросы пользователей Может ли GLM-5.3-Flash работать на одном графическом процессоре? Что такое движок вывода Project Maya? Как Maya обрабатывает 321 миллиард параметров на 24 ГБ RTX 3090? Достигается ли производительность 118 токенов в секунду на одном графическом процессоре? Maya против Strata против llama.cpp для локальных LLM GLM-5.3-Flash против Qwen 3.8 Flash-Next локально Что такое Maya-S24 и нужно ли мне 64 ГБ ОЗУ? Помещается ли 321 миллиард параметров в 24 ГБ видеопамяти? Почему Maya работает медленнее, чем Qwen Flash-Next? Maya — это просто Strata для GLM? Unsloth 1-битный GLM против Project Maya SSD offload Claude Opus 4.8 против GLM-5.3-Flash Terminal Bench Linux против Windows для Project Maya Стоит ли мне оставить Strata или установить Maya? Источники Блог Z.ai о запуске GLM-5.3-Flash (320B-A18B, тесты поставщиков, 26.08.2026) — https://z.ai/blog/glm-5.3-flash Hugging Face `zai-org/GLM-5.3-Flash` (контрольная точка 321B, карта архитектуры) — https://huggingface.co/zai-org/GLM-5.... README проекта Maya / GitHub `mw00/project-maya` — https://github.com/mw00/project-maya GGUF-файлы Maya от Hugging Face `peasantsmith/GLM-5.3-Flash-Maya-GGUF` — https://huggingface.co/peasantsmith/G... Документация Maya: SETTINGS.md (экспертные уровни, запас оперативной памяти ~6 ГБ), WINDOWS.md / AMD_MAYA.md (экспериментальные), `docs/GLM5-FLASH.md` (исследование портирования) Таблица скорости Maya: 4× RTX 4090 118 ток/с; Проблема на GitHub #89 (0xPreDa) — https://github.com/mw00/project-maya/... Unsloth GLM-5.3-Flash (~93 ГБ 1-бит; ~100 ГБ объединенной ОЗУ+ВОЗМ) — https://unsloth.ai/docs/models/glm-5.... Видеокарта Qwen 3.8 Flash-Next (~125 байт + n-грамная таблица, ~6 байт активной памяти) — https://huggingface.co/Qwen/Qwen3.8-F... Видеокарта Qwen 3.8 27B (DeepSWE 42.2; плотная базовая архитектура с приоритетом GPU) — https://huggingface.co/Qwen/Qwen3.8-27B NVIDIA GeForce RTX 3090 (24 ГБ GDDR6X) — https://www.nvidia.com/en-us/geforce/... Заявленные владельцем скорости уровня 3090 (~20–24 ток/с) и совпадение строк DeepSWE / Toolathlon / NL2Repo от производителя: скомпилировано в `sources.md` (не лабораторное сравнение) Ссылки The 10x Stack ·    / @the_10x_stack