WAM и VLA для обучения роботов | Cosmos Labs

Создание эффективных базовых моделей роботов требует применения нескольких подходов. Модели «зрение-язык-действие» (VLA) и модели «мировое действие» (WAM) — каждая из них обладает своими преимуществами для обучения, планирования и управления роботами. В этом прямом эфире исследователи NVIDIA Данфей Сюй (США), Мориц Бенно Ройсс (Швейцария), Томас Тянь (США) расскажут о принципах работы моделей «мировое действие», их сравнении с современными моделями «зрение-язык-действие» (VLA) и о том, почему многие базовые модели роботов следующего поколения сочетают оба подхода. Вы также увидите, как NVIDIA Cosmos 3 рассматривает действие как собственную модальность, позволяя роботам прогнозировать будущие наблюдения при генерации действий. Мы рассмотрим, как Cosmos 3 обеспечивает открытый рабочий процесс для постобучения, оценки и развертывания с использованием открытых моделей, наборов данных, рецептов и ресурсов обслуживания. Независимо от того, разрабатываете ли вы стратегии манипулирования, обучаете базовые модели роботов или исследуете воплощенный ИИ, этот прямой эфир даст практическое понимание того, какое место модели «мировое действие» занимают в будущем робототехники. Что вы узнаете: Что такое модели поведения в реальном мире (World Action Models) и чем они отличаются от моделей Vision-Language-Action (VLA) и дополняют их Сильные стороны, ограничения и компромиссы моделей WAM, VLA и новых гибридных подходов Как Cosmos3-Nano-Policy-DROID представляет будущие наблюдения при генерации действий робота Как NVIDIA Cosmos 3 представляет действия как нативный формат наряду с видео Как оценивать, постобучать и адаптировать Cosmos 3, используя открытые модели, наборы данных, рецепты и ресурсы развертывания Есть вопросы о постобучении и развертывании NVIDIA Cosmos 3? Задайте их в режиме реального времени — команда NVIDIA ответит на них в режиме реального времени. Получите доступ к дополнительным ресурсам для разработчиков NVIDIA Cosmos и присоединитесь к нашему сообществу разработчиков: 📄 Читайте технический блог → https://nvda.ws/4c6kK3R ⬇️ Скачайте Cosmos на Hugging Face → https://huggingface.co/collections/nv... 📚 Изучите модели и наборы данных на GitHub → https://github.com/nvidia/Cosmos 👥 Присоединяйтесь к сообществу Cosmos →   / discord