Класс Ньютона — урок физики, который должен посещать каждый робот.

Newton Physics Engine представляет собой прорыв в моделировании робототехники, предлагая открытую платформу с ускорением на графических процессорах, которая устраняет критический разрыв между производительностью роботов в смоделированном и реальном мире. Разработанный совместно NVIDIA, Google DeepMind и Disney Research и управляемый Linux Foundation, Newton построен на основе фреймворков NVIDIA Warp и OpenUSD, обеспечивая высокоточное моделирование физики с беспрецедентной скоростью и точностью. В этом прямом эфире мы рассмотрим модульную архитектуру Newton, поддерживающую множество областей физики — динамику твердых тел, моделирование мягких тел, моделирование ткани и гранулированные материалы. Вы узнаете, как дифференцируемая физика Newton обеспечивает оптимизацию на основе градиента для эффективного обучения роботов и как ее можно использовать с такими фреймворками для обучения роботов, как NVIDIA Isaac Lab и MuJoCo Playground. Ключевые моменты: 00:39 – Что такое Newton: физика с открытым исходным кодом и ускорением на GPU (NVIDIA + DeepMind + Disney; Linux Foundation; OpenUSD + Warp) 03:28 – Почему Newton: спектр робототехники и сложность стека, для решения которых он создан 07:05 – Стратегия работы с данными: реальные ↔ синтетические ↔ данные интернет-масштаба; почему синтетические данные важны 10:50 – Требования к проектированию: модульность, расширяемость, дифференцируемость, унифицированный API 16:03 – Архитектура и интеграция: решатели, столкновения, модели; Isaac Lab уже запущен, Isaac Sim запланирован 25:20 – Краткий обзор NVIDIA Warp: Python DSL → CUDA, автодифференцирование, взаимодействие PyTorch/JAX 43:03 – Линейка решателей: MuJoCo-Warp, XPBD, Featherstone, VBD cloth, неявный MPM, Camino (Disney), нейронный решатель 47:34 – Бенчмарки: MuJoCo-Warp против MJX — значительный прирост производительности на графических процессорах RTX 50:12 – Деформируемые и смешанные системы: ткань + жесткий гранулированный песок; односторонняя и двусторонняя связь 1:10:13 – Дорожная карта: Бета → Доработка бета-2 → Цель GA; Camino на пути к GA Основные моменты вопросов и ответов: 04:03 — В: Какие задачи моделирования роботов стремится решить Newton? A: Объединение высокоточной физики в рамках модульной, открытой, ускоренной на GPU структуры с возможностью дифференцирования и простым, унифицированным API, позволяющим смешивать решатели (жесткие, мягкие, тканевые, гранулярные) и масштабировать синтетические данные для обучения и управления. 16:24 — В: Как унифицированный API предоставляет доступ к градиентам для внешних фреймворков (например, MuJoCo / DL-библиотек)? A: Newton использует автоматическое дифференцирование NVIDIA Warp. Градиенты являются необязательными и могут быть получены через API Warp с возможностью нулевого копирования массивов/градиентов в PyTorch уже сегодня (в следующем релизе Warp планируется интеграция с градиентами JAX). Newton наследует это через Warp. 19:06 — В: Будет ли DGX Spark запускать Isaac Sim и Isaac Lab? A: Да, для Isaac Lab — экспериментальная ветка с Newton работала на Spark; стандартная версия Lab также работает на Spark. Isaac Sim + Newton планируется как отдельный бэкенд (график разработки находится в процессе). 31:23 — В: Как осуществляется унификация состояний/столкновений (OpenUSD + Warp) для переключения решателей во время одной симуляции? О: Импорт ресурсов через USD/MJCF/URDF, создание модели Newton, а затем выбор решателя для каждой модели через API Newton. Для упрощения этого процесса разрабатывается схема Newton USD; на данный момент передача данных осуществляется путем создания модели и выбора решателя. 33:50 — В: Может ли Newton работать как расширение Omniverse Kit/AppKit? О: Newton можно использовать как автономно, так и в контексте Omniverse. Для Isaac Lab Newton уже интегрирован (экспериментально). Для Isaac Sim Newton появится как дополнительный физический бэкенд (статус по умолчанию пока не определен). У Warp уже есть расширение Kit. 37:47 — В: Позволяет ли функция автодифференцирования Warp проводить сквозное обучение контроллеров на основе физических моделей непосредственно в симуляторе? О: Да, в этом и заключается идея. Благодаря возможности дифференцирования вы можете вычислять градиенты внутри цикла симуляции и передавать их в процесс обучения/оптимизации (например, PyTorch), что позволяет проводить онлайн-обучение и оптимизацию управления. Ресурсы: [Доклад] Анонс Mujoco-Warp и Newton: как Google DeepMind и NVIDIA ускоряют развитие робототехники (https://www.nvidia.com/en-us/on-deman...) [Доклад] Как роботы учатся быть роботами в симуляции с помощью физического движка Newton (https://www.nvidia.com/en-us/on-deman...) [Доклад] Как дроиды Disney оживают благодаря физической симуляции (   • How Disney Droids Come to Life With Physic...  ) [Технический документ] Isaac Lab: ускоренная на GPU платформа симуляции для многомодального обучения роботов (https://research.nvidia.com/publicati....