Понимание мировых моделей ИИ с Алексом ЛеБрюном из AMI

Нынешний бум ИИ действительно основан на масштабном развитии моделей линейного мира (LLM), но не ошибаются ли они в этом? Алекс ЛеБрун, соучредитель и генеральный директор Advanced Machine Intelligence (AMI Labs), утверждает, что если ИИ хочет понимать мир, моделировать причинно-следственные связи и рассуждать во времени, ему может понадобиться нечто иное: модели мира. Его новая компания привлекла более 1 миллиарда долларов, чтобы попытаться это доказать. Он не выдвигает технического аргумента — это вызов всей логике нынешнего бума ИИ. Итак, сегодня наши ведущие Аутрия Годфри, Стивен Хорн и Лайла Ризви спрашивают Алекса ЛеБруна, не слишком ли сильно индустрия инвестирует в масштабирование только одной доминирующей парадигмы, и являются ли модели мира реальной альтернативой или просто лучшей теорией на рынке, который, возможно, уже выбрал своего победителя. Аутрия начинает с вопроса к Алексу о недостатках моделей линейного мира. По словам Алекса, «Если вы хотите понимать или манипулировать реальным миром, то модели линейного мира не подходят… во всех отношениях». Он объясняет, что модели мира (LLM) хороши в задачах, где язык является первостепенным: всё, что дискретно и распознаётся, например, математика, программирование и поиск информации. Но это «только один класс задач. Это не всё в мире». Алекс определяет, что такое модели мира, как они обучаются и для чего они наиболее полезны. Вы услышите о том, как председатель AMI Ян ЛеКун и его команда разработали концепцию под названием JEPA (Joint Embedding Predictive Architecture), которая представляет собой способ обучения моделей мира посредством самообучения. Мы рассмотрим, как AMI использует видеоматериалы с большим объёмом данных для обучения своих моделей мира — и почему подавляющее большинство видео на YouTube просто не подойдут в качестве исходного материала. Лайла спрашивает о возможности масштабирования LLM до такой степени, чтобы они могли привести к появлению неявных моделей мира. Алекс не согласен. Он указывает на снижение отдачи от основного прогресса LLM, несмотря на миллиардные затраты. Вместо этого он рассматривает мировые модели как дополнение к LLM, подобно тому как врачам необходима реальная подготовка в дополнение к чтению книг. Он даже сравнивает, как LLM и мировые модели могут отражать работу человеческого мозга, где разные области мозга отвечают за разные функции, работая вместе в тандеме. Мы углубляемся в экономику ИИ, от вопроса о целесообразности дальнейших инвестиций в масштабирование LLM до того, приживутся ли мировые модели у инвесторов. Алекс делится некоторыми проблемами, с которыми он сталкивался, конкурируя за вычислительные ресурсы и привлекая капитал в инвестиционном климате, где годовой оборот Anthropic составляет 30 миллиардов долларов. Когда Стивен задается вопросом, как мировые модели будут сочетаться с агентным ИИ в таких областях, как здравоохранение, Алекс отмечает, что агентные модели очень хрупкие и обычно дают сбой при долгосрочном планировании. Он говорит, что 99% точности недостаточно, если это означает гибель 1 из каждых 100 пациентов. Мировые модели создают внутреннее представление мира, которое является более детерминированным и позволит осуществлять долгосрочное планирование с большей точностью. Наконец, настало время для нашей рубрики «Быстрые вопросы», где наши ведущие задают гостям серию из трех вопросов. Аутрия спрашивает Алекса, где люди проведут черту, когда ИИ войдет в их личную жизнь; Лайла спрашивает его о чем-то общепринятом в его области, с чем он не согласен; а Стивен спрашивает Алекса, что произойдет в будущем, о чем сейчас никто не говорит. В нашей последующей дискуссии Аутрия, Стивен и Лайла обсуждают, обосновал ли Алекс необходимость включения мировых моделей в экономику ИИ, включая перенаправление части капитала, инвестируемого в магистерские программы, на мировые модели. Мы также хотим узнать ваше мнение. Являются ли мировые модели новым рубежом в мире ИИ, или масштабирование магистерских программ по-прежнему является лучшим вариантом для раскрытия всего потенциала, который может предложить ИИ? Расскажите нам в комментариях. РАЗДЕЛЫ: 00:00 Достаточно ли магистерских программ, или наконец-то наступила эра мировых моделей? 01:00 Современные модели мира ИИ и будущее направление развития отрасли 03:21 Алекс ЛеБрун о том, что модели мира ИИ делают лучше всего и в чем они уступают 04:26 Что такое модель мира ИИ? 05:11 Модели мира ИИ против моделей мира ИИ 06:58 Обучение на основе реального мира 08:26 Слишком ли сильно экономика ИИ ориентирована на масштабирование? 10:29 Как будут обучаться модели мира ИИ? 12:30 Сравнение моделей мира и агентных моделей ИИ 14:05 AMI Labs, Open AI, Anthropic и прорыв JEPA 16:02 Что мы увидим в первую очередь от моделей мира? 16:47 Как выглядит масштабирование для моделей мира сейчас? 18:09 Капитал, вычисления и доказательства 18:47 Обгонят ли модели мира модели мира или будут работать в тандеме? 19:37 Что останется человечеству? 21:13 Где люди про...