CoreWeave Inference: от обучения модели до промышленного развертывания

Ниша Надкани, инженер-специалист по производственной обработке данных в CoreWeave, представила презентацию о выводе данных в CoreWeave, подробно описав процесс от обучения модели до масштабируемого обслуживания в производственной среде. Она представила CoreWeave Forge как дополнительный уровень разработки, построенный на основе основных вычислительных ресурсов CoreWeave, предназначенный для помощи пользователям в создании моделей и агентов ИИ с использованием привычных фреймворков. Значительная часть ее выступления была посвящена операционным изменениям, необходимым при переходе от рабочей нагрузки обучения модели, характеризующейся предсказуемыми пакетными заданиями, к рабочей нагрузке вывода данных, которая ведет себя скорее как работающий в реальном времени сервис, динамически масштабируемый в соответствии с входящими запросами. Производственный вывод данных представляет собой уникальные проблемы, требующие тонкого баланса между конкурирующими целями, такими как задержка, пропускная способность, масштабируемость и стоимость, и все это ограничено объемом памяти графического процессора. Надкани объяснила, что оптимизация одной цели часто требует компромиссов в других, ссылаясь на концепцию границы Парето. Для решения этих проблем CoreWeave предоставляет клиентам три различных варианта вывода данных, различающихся уровнем операционной ответственности. Эти варианты включают бессерверный вывод для полностью управляемой конечной точки API, выделенный вывод для тех, кто хочет больше контролировать веса модели и конфигурации движка, а также полный контроль над выводом в CKS для пользователей, которые хотят управлять всем стеком, включая пользовательские среды выполнения. Углубляясь в выделенный вывод, Надкани описал его архитектуру, которая включает шлюз, обрабатывающий аутентификацию, авторизацию и интеллектуальную маршрутизацию, а также развертывание, где пользователи настраивают свои модели. Это включает в себя указание весов модели из объектного хранилища CoreWeave AI, настройку параметров движка VLLM, выбор классов GPU, таких как H100, и определение масштабирования реплик. CoreWeave также уделяет приоритетное внимание наблюдаемости, предлагая предварительно заполненные панели мониторинга Grafana, отображающие важные метрики, такие как частота запросов, производительность VLLM и использование GPU. Кроме того, они имеют агент управления, который может помочь пользователям в упреждающей оптимизации своих моделей на основе конкретных целей, таких как сокращение времени до получения первого токена или общие затраты. Запись сделана в прямом эфире в Санта-Кларе, Калифорния, 14 октября 2026 года в рамках AI Field Day 9. Полную презентацию можно посмотреть по ссылке https://techfieldday.com/appearance/c... или на сайтах https://coreweave.com/forge или https://techfieldday.com/event/aifd9/ для получения дополнительной информации.