Скрытые возможности в трассировках агентов: автоматическое улучшение агента с помощью Open Source...

Запись с конференции: Agentic + AI Observability Meetup | Сан-Франциско | 13 октября 2026 г. Докладчик: Юки Ватанабе (старший инженер-программист, Databricks) Производственные среды подвергают агентов ИИ воздействию суровых реальных условий, что приводит к непредсказуемым сбоям, которые трудно предвидеть или предотвратить с помощью стандартных предварительных оценок перед развертыванием. Хотя настройка мониторинга и трассировки проста, тысячи зарегистрированных производственных трассировок часто остаются непроанализированными, в результате чего критические проблемы остаются незамеченными. MLflow Issues решает эту проблему, автоматически анализируя производственные трассировки, группируя сбои в действенные задачи и обеспечивая механизм непрерывного совершенствования, охватывающий трассировку, обнаружение проблем, их исправление и мониторинг производственной среды. Ключевые выводы • Производственные трассировки содержат ценную информацию («скрытые сокровища»), но они остаются бесполезными, если их не анализировать и не использовать в дальнейшем. • Традиционные предварительные оценки (evals) дорогостоящи и не позволяют выявить неожиданные сбои в производственной среде, что делает раннюю наблюдаемость крайне важной. • Инструментирование трассировки требует минимальных изменений кода с помощью стандартных открытых инструментов, таких как MLflow или OpenTelemetry. • MLflow Issues действует как проактивный агент, автоматически группируя необработанные журналы трассировки в структурированные, действенные заявки с описаниями и доказательствами. • Автоматическое обнаружение проблем поддерживает выявление неэффективности токенов/задержек, сбоев выполнения, нарушений безопасности и настраиваемых правил, специфичных для предметной области. Выявленные проблемы поступают в итеративный цикл улучшения, где агенты кодирования используют контекстные детали проблем для исправления ошибок, создания целевых оценок и проверки исправлений в производственной среде. Комплексная автономная оптимизация агентов основана на открытых платформах, которые предоставляют неограниченный доступ к данным трассировки через API, SQL и SDK, а не блокируют данные за закрытыми стенами пользовательского интерфейса поставщика. 00:00 — Краткое содержание и основные выводы 01:41 — Реальные сценарии сбоев агентов 02:44 — Ограничения предварительной оценки перед развертыванием 03:50 — Настройка трассировки с помощью MLflow и OpenTelemetry 06:12 — Проблема с непроверенными трассировками в производственной среде 07:44 — Знакомство с MLflow Issues 09:31 — Поддерживаемые категории сбоев и пользовательские критерии 11:10 — «Маховик» агента: трассировка, исправления и мониторинг 11:55 — Пример из практики: оптимизация бота MLflow для проверки кода PR 18:00 — Демонстрация работы MLflow Issues в реальном времени 04:59 — Представление о полной автоматической коррекции с помощью API 23:41 — Как начать работу с MLflow Issues