Parameter Golf с AutoResearch — Ваюм Арора, Чжэнъяо Цзян, Дисин Сюй и Дхрув Шрикант, Weco AI

Агент сохраняет изменения кода, улучшающие оценку языковой модели, и отбрасывает остальные. Weco AI превращает этот цикл исследований в мастер-класс, используя Mini Parameter Golf для создания достаточно небольших обучающих экспериментов, которые можно проверять по мере их выполнения. Чжэнъяо Цзян представляет автоисследование как повторяющиеся предложения и оценки, а Дисин Сюй объясняет систему Aiden команды и ее вклад в конкурс Parameter Golf от OpenAI. Затем Ваюм Арора и Дхрув Шрикант связывают эти результаты с практической настройкой, которая сочетает в себе изменяемый исходный файл, фиксированную команду оценки и измеримую цель. В пошаговом руководстве основное внимание уделяется факторам, определяющим полезность поиска: быстрые и стабильные оценки, четкое направление метрики, временные ограничения, первоначальное руководство и защита от взлома вознаграждения. Дерево экспериментов Weco позволяет проверять каждую попытку, отображая изменения кода и оценку на панели управления. Докладчики показывают, как отходить от перспективных идей и направлять текущий поиск к другой, вместо того чтобы просто позволять ему продолжаться. Проблемы с интернетом приводят к демонстрации настройки с пошаговыми инструкциями, за которой следуют вопросы об обучении с подкреплением и объединении нескольких целей. В финальном упражнении происходит замена обучения модели для контроллера Flappy Bird, результаты которого оцениваются в условиях обычной игры, движения в пространстве, ветра и смешанных условий. Скрытый набор данных для проверки и ограничения на то, что может редактировать контроллер, делают это соревнование еще одним уроком по разработке системы оценки, которая поощряет желаемое поведение. Информация о докладчиках: Ваюм Арора:   / vayum-arora   Чжэнъяо Цзян: https://zhengyaojiang.github.io/   / zhengyao-jiang-387b44145   Дисин Сюй: https://dex.moe/   / dex-xu   Дхрув Шрикант:   / dhruv-srikanth   Ресурсы для семинара: https://github.com/WecoAI/mini-pg Временные метки: 0:00 - Докладчики и цикл автопоиска 3:35 - План семинара и информация об AIDE 5:39 - Parameter Golf и Aiden 8:30 - Mini Parameter Golf 9:37 - Weco, Modal и репозиторий Настройка 11:10 - Анатомия автоматического запуска исследования 12:06 - Быстрая оценка и взлом системы вознаграждений 13:02 - Определение метрики и бюджета поиска 14:25 - Ограничения по времени и первоначальные рекомендации 16:31 - Структура, наблюдаемость и управление 17:29 - Изучение дерева эксперимента 19:36 - Человеческие идеи и научные прорывы 20:47 - Пошаговая настройка и интерактивная панель мониторинга 24:41 - Обучение с подкреплением и множественные цели 26:18 - Оценка и управление экспериментом 28:46 - Соревнование Flappy Weco 30:08 - Среды, валидация и правила 32:30 - Инструкции к упражнениям и заключение