5 СВЕН ГРОССМАН ИВАНА ХУЧКОВА

Агент может возвращать плавный ответ без ошибок, но при этом ошибаться. Свен Гроссманн и Ивана Хучкова показывают, как Grafana перешла от тестирования на интуитивном уровне к измерению производительности, поведения, качества итераций и безопасности в рамках агента, используемого более чем 18 000 организаций. В докладе рассматривается работа Grafana Assistant: от метрик в реальном времени и полных трассировок диалогов до онлайн-оценок, регрессионных тестов, контрольных точек CI и синхронных проверок запросов. Реальные инциденты показывают, как временная метка нарушила кэширование подсказок, как неудачные диалоги в производственной среде стали надежными тестовыми примерами и как проверки политик могут останавливать запросы, выходящие за рамки модели, еще до того, как они достигнут модели. В этом докладе: Четыре измерения надежного поведения агента Мониторинг задержки, стоимости, ошибок и времени до получения первого токена Отладка диалогов с помощью трассировки модели и инструментов Измерение обоснованности с помощью LLM-судьи Превращение сбоев в производственной среде в регрессионные тесты Контроль изменений подсказок и инструментов в CI/CD Синхронная блокировка небезопасных или выходящих за рамки области видимости запросов Разделы: 00:00 Введение 01:38 Почему vibes не масштабируются 01:42 Создание Grafana Assistant 03:19 Наблюдаемость Grafana Agent 03:43 Четыре измерения доверия 04:51 Мониторинг производственного трафика 05:42 Как метка времени нарушила кэширование подсказок 06:46 Трассировка отдельных диалогов 08:28 Обнаружение скрытых сбоев с помощью онлайн-оценок 09:19 Проверка обоснованности с помощью LLM-судьи 10:30 Превращение качества в метрику 11:17 Итерация без регрессий 11:59 Сбои в производстве как очередь проверки 13:19 Создание версионированных наборов регрессионных тестов 13:55 Эксперименты по автономной оценке 14:46 Контрольные точки CI/CD для изменений агентов 15:29 Защита от неожиданных запросов 17:19 Защита от синхронных запросов 18:08 Демонстрация защиты в реальном времени 20:10 Цикл непрерывного улучшения Свен Гроссманн — ведущий инженер-программист в Grafana Labs. Ивана Хуцкова — старший инженер-программист в Grafana Labs. Конференция Agent Conf собрала инженеров и разработчиков в Варшаве, Польша, 17 и 18 сентября 2026 года, чтобы изучить агентный подход к разработке программного обеспечения. Увидимся на следующей Agent Conf 🎟️ https://clstk.com/4rrdiXJ Подписывайтесь на Agent Conf в X, чтобы быть в курсе событий 🐦 https://x.com/AgentConf Ознакомьтесь с контентом Callstack 📚 https://clstk.com/4hgag3F #AgentConf #AgenticDevelopment #AIAgents