ReActor: Обучение с подкреплением для перенацеливания движения с учетом физических принципов

Перенацеливание кинематических эталонных движений человека на морфологию робота остается сложной задачей. Существующие методы часто приводят к физическим несоответствиям, таким как скольжение стоп, самостолкновения или динамически невозможные движения, что препятствует последующему обучению на основе имитации. Мы предлагаем двухуровневую оптимизационную структуру, которая совместно адаптирует эталонные движения к морфологии робота, одновременно обучая политику отслеживания с использованием обучения с подкреплением. Чтобы сделать оптимизацию выполнимой, мы выводим приблизительный градиент для функции потерь верхнего уровня. Наша структура требует лишь разреженного набора семантических соответствий твердых тел и исключает необходимость ручной настройки, путем определения оптимальных значений для параметризации, достаточно выразительной для сохранения характерного движения в различных вариантах осуществления. Более того, интегрируя перенацеливание непосредственно с физическим моделированием, мы создаем физически правдоподобные движения, которые способствуют надежному обучению на основе имитации. Мы подтверждаем эффективность нашего метода в моделировании и на аппаратном обеспечении, демонстрируя сложные движения для морфологий, значительно отличающихся от человеческой, включая перенацеливание на четвероногое животное. Ссылки на публикации: https://arxiv.org/abs/2605.06593 и https://la.disneyresearch.com/publica...