Упряжь в ИИ: глубокое погружение — Теджас Кумар, IBM

Агент зашёл на страницу входа, запаниковал, всё равно сообщил об успехе, и голосование так и не состоялось. Диагноз Теджаса Кумара: проблема не в подсказке, а в движке. Демонстрация создаёт браузерный агент на GPT-3.5 Turbo (сознательно выбирая ОЧЕНЬ старую модель, чтобы показать, насколько хорошо разработка движка может его значительно улучшить) на Hacker News и добавляет движок, ни разу не касаясь подсказки. Ограничения количества итераций и компактный контекст. Шаг проверки считывает историю вызовов инструмента, чтобы выявить ложь агента о том, что он сделал. Обработчик входа отслеживает URL-адрес браузера в каждом цикле и программно внедряет учетные данные при переходе на страницу входа. В итоге, дешёвая старая модель надёжно авторизуется и ставит лайк посту. Информация о докладчике: https://x.com/TejasKumar_   / tejasq      • Evals in AI: A Deep Dive — Tejas Kumar, IBM   Временные метки: 0:00 Введение в Теджаса Кумара и ИИ-оболочки 1:45 Почему мы используем оболочки: Надежность и контроль 3:00 Определение оболочки агента с нуля 4:32 Ключевые компоненты оболочки агента (инструменты, контекст, ограничения) 5:59 Начало демонстрации: Создание браузерного агента 7:00 Анализ начального цикла агента 8:12 Проблема: Сбой агента и галлюцинации 10:20 Добавление ограничений и управления контекстом 11:54 Рефакторинг в формальную оболочку 13:02 Реализация шага проверки для выявления лжи 15:36 Реализация обработчика входа в систему для программного доступа 17:42 Заключительная демонстрация: Успешное автономное голосование 18:34 Краткое содержание и будущее динамических систем управления --- Смотрите вместе с исправленной стенограммой, кратким содержанием, временными метками и ресурсами на официальной странице этого доклада на AIE: https://ai.engineer/talks/C_GG5g38vLU... Присоединяйтесь к нашим предстоящим конференциям для инженеров-ИИ (см. целевую страницу https://ai.engineer): AIE Нью-Йорк, 12–14 октября — первый саммит AI Engineer Finance на главной сцене AIEi Шанхай, 5–6 ноября — первая конференция для встреч с ведущими китайскими лабораториями и инженерами AIE CODE в Сан-Франциско, 10–12 ноября — возвращается ведущая конференция по программированию в области ИИ AIEi Сидней, 7–8 декабря — первая конференция AIEi, проводимая параллельно с NeurIPS 2026 в Сиднее ---