Обучение с подкреплением в робототехнике: от симуляции к развертыванию в реальности (MuJoCo + Gym...

🤖 Код и документация по вращающемуся перевернутому маятнику: https://kevinwoodrobotics.com/product... 🎁 Получите БЕСПЛАТНЫЕ ресурсы по робототехнике и ИИ (руководство, учебники, курсы, шаблон резюме, код и скидки) – зарегистрируйтесь через всплывающее окно на https://kevinwoodrobotics.com/ 🪪 Присоединяйтесь к членству Robotics Builder, чтобы смотреть видео о процессе разработки:    / @kevinwoodrobotics   📝 Обзор курса по реальным робототехническим проектам и список ожидания: https://forms.gle/xu4rfk7GWHCaZGBEA 🦾 Изучайте робототехнику и ИИ: https://kevinwoodrobotics.com/product... 🤝 Консультации и наставничество: https://kevinwoodrobotics.com/product... 👁️ Изучение OpenCV: https://kevinwoodrobotics.com/product... 🤖 Изучение ROS: https://kevinwoodrobotics.com/product... 🧠 Изучение компьютерного зрения с использованием ИИ: https://kevinwoodrobotics.com/product... 🖥️ Изучение ИИ и машинного обучения: https://kevinwoodrobotics.com/product... 🛒 Магазин Amazon (мои лучшие предложения для робототехнических проектов и многого другого!): https://www.amazon.com/shop/kevinwood... ☕ Поддержите мой канал: https://buymeacoffee.com/kevinwoodrob... В этом видео я подробно разбираю весь процесс обучения с подкреплением в робототехнике — от моделирования робота в симуляции до обучения стратегии обучения с подкреплением и развертывания на реальном оборудовании. На примере вращающегося перевернутого маятника я покажу, как все основные части проекта робототехники с подкреплением связаны между собой и что нужно понимать, когда ваш контроллер не работает. Мы рассмотрим: • Создание модели робота из CAD → STL → MuJoCo XML/MJCF • Настройка двигателей, шарниров, каркасов и режимов управления • Создание среды Gymnasium • Состояния, наблюдения, действия, вознаграждения, завершение, сброс и эпизоды • Обучение нейронной сети политики с использованием PPO и Stable-Baselines3 • Формирование вознаграждения и рандомизация домена • Понимание весов обученной модели • Развертывание обученной политики на реальном оборудовании • Датчики, масштабирование действий, контуры управления и безопасность оборудования • Оценка результатов и итерации, когда переход от симуляции к реальности не работает Хотя в этом видео я использую вращающийся перевернутый маятник, тот же алгоритм можно применять к гораздо более сложным роботизированным системам, включая роботизированные манипуляторы, четвероногих и человекоподобных роботов. Если вы хотите подробнее узнать о моих проектах в области робототехники и о том, как они разрабатываются за кулисами, ознакомьтесь с членством в сообществе Robotics Builders на моем канале. Матрица вращения:    • Robotics Rotation Matrix (2D vs 3D, Frame ...   Кватернионы:    • Robotics Quaternion (From Rotation Matrix ...   Настройка пользовательского XML-файла модели робота Mujoco и фреймов для симулятора робота (Вращающийся перевернутый маятник #3):    • Setup Custom Robot Mujoco Model XML File a...   Сопоставление симуляции Mujoco с реальным оборудованием для симуляции (Вращающийся перевернутый маятник #4):    • Matching Mujoco Simulation to Real Hardwar...   Документация Mujoco: https://mujoco.readthedocs.io/en/stab... Gymnasium RL: https://gymnasium.farama.org/ Onnx: https://onnx.ai/onnx/index.html Симулятор Issac: https://github.com/isaac-sim/IsaacSim 0:00 Обучение с подкреплением для робототехники 1:24 Моделирование робота 2:35 MuJoCo XML / MJCF 3:42 Двигатели, режимы управления и фреймы 5:09 Обучение стратегии обучения с подкреплением 7:06 Создание среды спортивного зала 7:52 Наблюдения и состояния 8:04 Разработка вознаграждений 9:51 Сброс и завершение 11:03 Рандомизация домена 12:08 Скрипт обучения PPO 14:25 Развертывание на реальном оборудовании 15:50 Безопасность оборудования 16:14 Датчики и аппаратные аспекты 17:26 Экспорт и запуск стратегии 17:53 Результаты на оборудовании 18:19 Отладка и итерации 18:49 Заключительные мысли #ОбучениеСПодкреплением #Робототехника #МашинноеОбучение #MuJoCo #ОбучениеРоботов Спасибо за просмотр! Если это видео оказалось полезным, пожалуйста, поставьте лайк, подпишитесь и поделитесь им:    / @kevinwoodrobotics   Делюсь своей реферальной ссылкой для заказа Tesla. Вы получите скидку 1000 долларов на покупку продукции Tesla! https://ts.la/kevin145437 Социальные сети: Веб-сайт: https://www.kevinwoodrobotics.com LinkedIn:   / kevinwoodrobotics   Instagram:   / kevinwoodrobotics