Егор Булычев — Масштабирование агентов: инфраструктура, оценка качества, синтетические данные

Подробнее о Java-конференциях: — весной — JPoint: https://jrg.su/gTrwHx — осенью — Joker: https://jrg.su/h7yvG4 — — Скачать презентацию с сайта — https://jrg.su/NXpTyH В докладе рассматривается практическая задача масштабирования кодовых агентов — от единичных локальных запусков к массовым экспериментам, воспроизводимой оценке качества и генерации синтетических данных для обучения. Я покажу, как можно выстроить инфраструктуру для кодовых агентов на основе DAG-пайплайнов, где каждый эксперимент описывается как последовательность изолированных шагов: выполнение агента в окружении репозитория, извлечение изменений (git diff/patch), прогон тестов в чистом окружении для честного обмера и расчет метрик качества. Отдельное внимание будет уделено генерации и фильтрации синтетических и реальных задач для кодовых агентов. В докладе будут затронуты следующие технологии и подходы: контейнеризация и изоляция окружений, построение агентных фремворков, оркестрация и DAG-моделирование экспериментов, автоматизированное тестирование, балансировка LLM-запросов (LLM Proxy). Целевая аудитория: ML-инженеры, backend- и infrastructure-инженеры, исследователи и тимлиды, которые работают с LLM, агентами или ML-системами в продакшене и сталкиваются с задачами масштабирования, воспроизводимости и оценки качества.