Может ли SSD заменить видеопамять для ИИ? Вся правда о выгрузке моделей

В этом видео рассматривается вся иерархия памяти модели: видеопамять (VRAM), системная оперативная память (RAM), PCIe, NVMe-хранилище, подкачка операционной системы, преднамеренная разгрузка на диск, отображение памяти и кэш ключ-значение (KV-кэш). Вы узнаете, почему модель технически может загружаться с SSD, генерируя всего один токен каждые несколько секунд, когда вывод с помощью диска все еще полезен и что следует обновить в первую очередь для более быстрой локальной настройки ИИ. Вы узнаете: Почему пропускная способность и задержка VRAM важнее, чем емкость диска Как модель размером 70 ГБ может быть распределена между VRAM, RAM и SSD Разница между использованием файла подкачки и запланированной разгрузкой модели Когда помогают отображение памяти и прямые пути хранения Почему длинный контекст и KV-кэш создают дополнительную нагрузку на память Почему квантизация и больший объем системной оперативной памяти обычно превосходят агрессивную разгрузку SSD Какие реальные показатели производительности следует проверить, прежде чем доверять скриншоту «модель загружена» Таймлайн: 00:00 Может ли SSD стать VRAM для ИИ? 00:40 Почему большие модели не помещаются 01:19 Реальная иерархия памяти 02:11 Как работают переполнение и разгрузка SSD 03:24 Аналогия с кухней и складом 04:24 Файл подкачки против преднамеренной разгрузки 05:56 Какие рабочие нагрузки могут выдерживать разгрузку SSD? 07:06 Контекстные окна и кэш ключ-значение 08:15 Решит ли это более быстрый NVMe SSD? 09:15 Износостойкость SSD и запись в файл подкачки 09:50 Что обновлять в первую очередь 10:46 Измерение токенов в секунду, а не загрузка скриншотов 11:10 Окончательный ответ