Евгений Чеботар: Модели RT-2 «Зрение-Язык-Действие» переносят знания из интернета в управление ро...

Мы изучаем, как модели визуально-языкового анализа, обученные на данных интернет-масштаба, могут быть непосредственно интегрированы в сквозное управление роботами для повышения обобщающей способности и обеспечения возможности возникновения семантического мышления. Наша цель — обеспечить возможность использования единой сквозной модели, обученной одновременно для сопоставления наблюдений робота с действиями, и одновременно для получения преимуществ крупномасштабного предварительного обучения на языковых и визуально-языковых данных из интернета. Для этого мы предлагаем совместно дорабатывать современные модели визуально-языкового анализа как на данных о траекториях движения робота, так и на задачах визуально-языкового анализа интернет-масштаба, таких как визуальные ответы на вопросы. В отличие от других подходов, мы предлагаем простой, общий способ достижения этой цели: чтобы уместить как ответы на естественном языке, так и действия робота в одном формате, мы выражаем действия в виде текстовых токенов и включаем их непосредственно в обучающий набор модели так же, как и токены естественного языка. Мы называем такую ​​категорию моделей моделями «зрение-язык-действие» (VLA) и приводим пример такой модели, которую мы называем RT-2. Наша обширная оценка (6000 оценочных испытаний) показывает, что наш подход приводит к эффективным стратегиям роботизации и позволяет RT-2 получать ряд новых возможностей благодаря обучению в масштабах интернета. Это включает в себя значительно улучшенную обобщающую способность на новые объекты, способность интерпретировать команды, отсутствующие в обучающих данных робота (например, размещение объекта на определенном числе или значке), и способность выполнять элементарные рассуждения в ответ на команды пользователя (например, поднять самый маленький или самый большой объект, или тот, который находится ближе всего к другому объекту). Мы также показываем, что включение рассуждений по принципу цепочки мыслей позволяет RT-2 выполнять многоэтапные семантические рассуждения, например, определять, какой объект поднять для использования в качестве импровизированного молотка (камень) или какой напиток лучше всего подходит для уставшего человека (энергетический напиток).