Пост-тренинг в CoreWeave Forge

Дэвид Корбитт представляет постобработку CoreWeave Forge, объясняя, как его опыт соучредительства OpenPipe привел к приобретению этой компании компанией CoreWeave с целью предоставления доступной тонкой настройки для предприятий. Forge предоставляет интегрированную среду, где наблюдение, постобработка и вывод работают вместе в цикле непрерывного улучшения. Команды наблюдают за поведением в производственной среде, извлекают трассировки для формирования оценочных или обучающих наборов данных, изменяют веса моделей с открытым исходным кодом и повторно развертывают их. Цель управляемой платформы — устранить необходимость в штатных экспертах по машинному обучению или глубоких знаниях PyTorch, обрабатывая основные сложности обучающих запусков и быстро выявляя ошибки с помощью интегрированных оценок и метрик. В презентации рассматриваются три поддерживаемых метода постобработки: контролируемая тонкая настройка, обучение с подкреплением и дистилляция модели. Контролируемая тонкая настройка опирается на высококачественные входные и выходные примеры для обеспечения стиля или согласованности, как это видно на примере стартапа Willow, использующего ее для очистки голосовых транскрипций, содержащих самокоррекции. Обучение с подкреплением использует функции вознаграждения для повышения производительности модели, что подтверждается примером сотрудничества You.com и Nvidia, в котором была повышена точность веб-поиска при одновременном сокращении количества обращений к инструментам. Корбитт подчеркивает, что перед попыткой постобработки пользователям всегда следует рассматривать более быстрые и дешевые альтернативы, такие как оптимизация подсказок, исправление инструментов среды или оценка более крупных моделей. CoreWeave управляет этим процессом на собственной инфраструктуре GPU, где базовые модели остаются предварительно загруженными, чтобы избежать задержек при запуске и проблем с нехваткой памяти. Вместо переобучения полных базовых весов платформа обучает небольшие адаптеры LoRA, которые работают параллельно с общими моделями на бессерверном выводе, позволяя клиентам платить стандартные токены за индивидуальную производительность. Для дистилляции автоматизированный фоновый агент собирает производственные данные, перемаркирует их с помощью более сильной модели, проводит обучающие циклы на меньшей модели и оценивает результаты по сравнению с производственными стандартами. Эта архитектура создает автоматизированный, повторяемый жизненный цикл, который снижает затраты на развертывание и сложность эксплуатации, позволяя моделям адаптироваться к изменениям с течением времени. Запись сделана в прямом эфире в Санта-Кларе, Калифорния, 14 октября 2026 года в рамках AI Field Day 9. Полную презентацию можно посмотреть по ссылке https://techfieldday.com/appearance/c... или на сайтах https://coreweave.com/forge или https://techfieldday.com/event/aifd9/ для получения дополнительной информации.