Самообучающиеся ИИ-агенты: Exo и «горький урок» | Алекс Кренцель

Алекс Кренцель (старший научный сотрудник Google и аспирант Калифорнийского университета в Беркли) представляет Exo — архитектуру для агентных систем, которая может безопасно редактировать свою собственную систему управления во время выполнения. Заимствуя идею экзоядра из операционных систем, Exo разделяет агента на защищенный слой механизмов (состояние, история, секреты, «хранитель») и полностью развиваемый слой политик. Алекс подробно рассказывает о дизайне, о том, почему безопасность — сложная часть самосовершенствования, и о результатах бенчмарков и задач RuneScape с открытым миром, где Exo оказался на 31-62% дешевле, чем Codex и Pi. Exo на GitHub: https://github.com/exoharness/exo Совместная работа с Сильвией Ратнасами, Ионом Стойкой, Мартином Касадо и Анкуром Гоялом. 0:00 Что делает систему управления «выполнимой, несмотря на горький опыт»? 0:31 Представляем Exo и историю создания проекта 1:24 Предыстория: от предсказателей следующего токена до автономных агентов 5:17 Формирующийся самосовершенствующийся слой 6:14 Что такое агентная система? Определение вспомогательного механизма и политики 8:22 Вопросы и ответы: агенты, специфичные для предметной области, против универсальных агентов, более толстые и более тонкие вспомогательные механизмы 11:13 Почему сложно найти хорошую политику: оптимизаторы агентов и их ограничения 14:30 Ключевая идея: позволить вспомогательному механизму редактировать себя во время выполнения 17:37 Проблема безопасности: разделение судьбы и незащищенное состояние 19:02 Дизайн Exo: слой защищенного механизма + слой эволюционирующей политики 20:13 Вдохновение от операционных систем: экзоядро 22:21 Что находится в каждом слое 24:35 Вопросы и ответы: изменится ли разделение по мере того, как модели станут более надежными? 28:35 Агент как политика + состояние + песочница 29:34 Как работает самосовершенствование: хранитель 31:03 Вопросы и ответы: защита хранителя, сравнение с другими вариантами конструкции 32:50 Обработка секретов и саморедактирование процесса самосовершенствования 34:19 Реализация и открытый исходный код 35:10 Настройка оценки: закрытые бенчмарки и задачи открытого мира 36:35 Вопросы и ответы: как на самом деле развивается политика? 37:43 Результаты RuneScape: Exo против Codex и Pi 41:34 Вопросы и ответы: осознание затрат и мета-подсказка 42:35 Второй запуск: перенос полученных знаний на новый аккаунт 44:07 Ограничения: где самосовершенствование не приносит результатов 45:09 Вопросы и ответы: «мечты», разреженность вознаграждений и разрыв в бенчмарках 49:24 Персонализированные системы и «ветви» политики 50:12 Разработка систем, соответствующих горькому уроку #AIAgents #LLM #SelfImprovingAI #AgenticAI #arenaai