Среды обучения с подкреплением: как ИИ-агенты осваивают реальную работу | Брендан Фуди, Mercor

Среды обучения с подкреплением стали самой обсуждаемой темой в области данных для обучения ИИ. Но что же это такое на самом деле? На мероприятии Sequoia Capital «Own Your Intelligence» генеральный директор Mercor Брендан Фуди подробно рассматривает три компонента: миры (сообщения, документы и файлы реального проекта), приложения (высококачественные клоны таких инструментов, как Salesforce и Google Workspace) и задачи (подсказки в сочетании с верификаторами на основе рубрик). Он демонстрирует реальную юридическую среду, созданную юристами из ведущих фирм, и делится результатами после обучения, показывающими значительное улучшение результатов в задачах, специфичных для предметной области, при использовании скромных вычислительных мощностей. Брендан также рассказывает о том, почему люди остаются важными для измерения прогресса, как Mercor оценивает данные, о переходе от краудсорсинговой разметки к средам, созданным экспертами, и о том, что нас ждет в будущем: задачи сверхдлительного горизонта и виртуальные коллеги. Он утверждает, что технологии, ранее доступные только передовым лабораториям, теперь достигают компаний, занимающихся разработкой приложений, и создаваемые ими наборы данных становятся их защитным барьером. 00:00 Введение 00:47 Краткая история рынка данных: от краудсорсинга до агентных данных 02:29 Что такое среда RL: миры, приложения, задачи 03:57 Почему только люди могут измерить границу 05:35 Создание верификаторов — сложная задача 06:44 Пошаговое руководство: реальная легальная среда RL 08:18 Таблицы лидеров — и как меняются открытые веса 09:45 Результаты постобучения на Apex Agents 11:17 Три способа, которыми компании покупают данные 12:49 Вопросы и ответы: Как вы оцениваете данные? 14:17 Вопросы и ответы: Что на самом деле означает «качество данных» 16:42 Вопросы и ответы: Недопонимание о синтетических данных 18:17 Вопросы и ответы: Почему среды RL сейчас — и что будет дальше 21:20 Вопросы и ответы: Можно ли масштабировать генерацию рубрик с помощью моделей? 23:00 Вопросы и ответы: Среды обучения с подкреплением для киберзащиты 25:33 Вопросы и ответы: Создавать данные собственными силами или с помощью партнеров?