Как тестировать AI-агентов при отсутствии бенчмарков — Натаниэль Вейль, Air Canada

Натанаэль Вейль возглавляет команду, занимающуюся разработкой ИИ-агентов в Air Canada, где задачи настолько специфичны, что нет общедоступных эталонных показателей, а у экспертов в данной области мало времени на оценку результатов. Его решение заключается в том, чтобы сначала написать ответ: начать с известного ответа, сгенерировать на его основе входные данные и проверить, находит ли агент путь обратно. Он показывает, как это позволило в рамках предыдущего проекта RAG увеличить количество автоматизированных тестов с одного теста в неделю до десятков в день, а затем применяет это к агенту для проверки контрактов с поставщиками, используя пять способов построения набора тестов: прошлые решения, подстроенные нарушения правил, удаленные пункты, изменения, которые не должны иметь значения, и шаблоны контрактов с заполненными полями. Он также объясняет, почему избегает судей LLM, когда ответ можно проверить с помощью кода. Разделы: 00:00 Введение 00:47 Нет бенчмарка, нет экспертов 01:41 Урок из проекта RAG в телекоммуникационной отрасли 04:43 Еженедельные экспертные проверки были слишком медленными 05:38 Переверните: сначала напишите ответ 06:33 От одного теста в неделю до десятков в день 07:30 Проверка контракта с поставщиком 10:08 Как работает агент по контрактам 10:39 Пять способов создания набора тестов 12:31 Внедрение нарушений правил 13:39 Удаление пунктов 14:42 Изменения, которые не должны иметь значения 15:38 Шаблоны с пустыми полями 16:39 Избегайте судей LLM, когда код может проверить 18:07 Используйте отзывы экспертов для создания лучших тестов Натанаэль Вейль, Air Canada: https://www.aircanada.com Присоединяйтесь к нам Сан-Франциско — место проведения второго ежегодного саммита AIE CODE: https://aie.codes — нашего последнего флагманского саммита 2026 года. Приём заявок уже открыт!