Оценка ИИ-агентов в критически важных сферах — Донелли Де Хесус и Аннабель Шефер, Langfuse

Практический семинар по оценке приложений ИИ, где ошибки обходятся дорого. Аннабель Шефер и Донейли Де Хесус из Langfuse используют банковского ассистента, чтобы показать весь цикл разработки ИИ. Они рассматривают трассировку с маскированием персональных данных, создание наборов данных, преобразование комментариев экспертов в области предметной области в описания режимов ошибок, использование LLM в качестве судьи и оценщиков кода, а также CI, которая блокирует внесение изменений при снижении оценок. Разделы: 00:00 Почему оценки сложны 05:01 Цикл разработки ИИ 12:47 Демонстрация: банковский помощник с отслеживанием и маскированием персональных данных 20:35 Создание наборов данных 25:18 Экспертная оценка и режимы ошибок 30:07 Выбор оценщиков 35:00 Автоматическое выполнение оценок при каждом изменении запроса 39:44 Панели мониторинга для заинтересованных сторон 45:58 Работа с вашим агентом кодирования 52:13 Вопросы и ответы Донейли Де Хесус — https://langfuse.com Аннабелль Шефер — https://langfuse.com Присоединяйтесь к нам в Сан-Франциско на втором ежегодном саммите AIE CODE: https://aie.codes — наш последний флагманский саммит 2026 года. Прием заявок открыт!