KV Cache: новые «большие данные» в сфере ИИ | Цзюньчэнь Цзян, Tensormesh на NVIDIA GTC

Кэш ключ-значение (KV-кэш) перестал быть просто побочным продуктом инференции LLM. Он становится новым видом больших данных в ИИ, ценным сам по себе. В своем докладе на NVIDIA GTC, в рамках первой отраслевой сессии мероприятия, посвященной методам KV-кэширования, Цзюньчэнь Цзян, генеральный директор и соучредитель Tensormesh и руководитель лаборатории LMCache, обосновывает необходимость рассматривать KV-кэш как первоклассную абстракцию данных. Он объясняет, почему один графический процессор B300 может генерировать около 100 ТБ KV-кэша в день, и почему большая его часть оказывается вне памяти графического процессора — в оперативной памяти ЦП, на SSD-накопителях и в удаленных хранилищах, таких как S3. Затем он показывает, как LMCache выступает посредником между механизмами инференции (vLLM, SGLang) и хранилищами, внедряя результаты исследований в производство. Он подробно рассматривает два из них: сжатие KV-кэша (CacheGen) и смешивание KV-кэша (CacheBlend). Доклад завершается демонстрацией, в которой CacheBlend выполняет второй запрос более чем в 2 раза быстрее, чем простое префиксное кэширование. Докладчик: Цзюньчэнь Цзян, генеральный директор и соучредитель Tensormesh; руководитель факультета LMCache Lab.