Как ИИ робота превращает команды в движения (разбор VLA-моделей)

Робот складывает рубашку по инструкции на простом английском языке, и никто не прописывал движения. Все делятся подобными видеороликами. Почти никто не объясняет, как предложение и изображение с камеры превращаются в команды управления двигателями. Это видео раскрывает этот секрет, начиная с пикселей камеры и заканчивая двигателями. Подобные роботы работают на основе моделей «зрение-язык-действие» (VLA): одна модель, которая смотрит, читает и действует. Мы прослеживаем весь путь, используя собственные данные из опубликованных статей и реальные видеозаписи работы роботов: • Как VLA «видит»: OpenVLA разбивает кадр с камеры 224 × 224 на фрагменты, обрабатывает их с помощью SigLIP (что представляют собой объекты) и DINOv2 (где находятся объекты) и преобразует их в токены, после чего следует ваша инструкция. • Как чат-бот научился «говорить на языке управления двигателями»: каждое из 7 чисел манипулятора на шаг разбивается на 256 блоков, и OpenVLA перезаписывает ими 256 токенов, которые Llama 2 использует реже всего. Одно движение = семь токенов. • Стена: около 6 движений в секунду на RTX 4090, в то время как ловкие двурукие роботы управляются 50 раз в секунду. Одна секунда движения двурукого робота — это 700 токенов. Медленный мозг управляет быстрыми руками. • Разбиение действий на блоки (ACT / ALOHA): прогнозирование множества движений одновременно. В смоделированных задачах ACT успешность выросла с 1% до 44%. • Разбиение действий на блоки (ACT / ALOHA): прогнозирование множества движений одновременно. В смоделированных задачах ACT показатель успеха вырос с 1% до 44%. • Четыре способа ускорить обработку фрагментов: сжатие (FAST: 700 → около 53 токенов), один параллельный проход (OpenVLA-OFT: в 26 раз больше действий в секунду, LIBERO 76,5% → 97,1%), числа в виде простого текста (VLA-0: 94,7% на LIBERO, ~4 предсказания/с на реальном роботе) или два «мозга» (π0: 3B VLM + 300M эксперт по действиям, 50 шагов одновременно; GR00T N1: Система 2 на частоте 10 Гц, Система 1 на частоте 120 Гц). • Согласование потоков и почему усреднение двух хороших маршрутов вокруг препятствия дает один плохой маршрут к нему. • От фрагмента к двигателю: смешивание, цели, а не силы, обратная кинематика и ПИД-регулятор внутри каждого двигателя. Сила захвата возникает из-за разницы между целевым и фактическим положением. VLA заменяет планировщик, а не теорию управления. • Откуда берутся данные и как самостоятельно протестировать SmolVLA (450 миллионов параметров). ⏱️ Разделы 0:00 Как предложение превращается в движение? 0:23 OpenVLA и разрыв в скорости 1:03 Как видит VLA 1:42 Действия как слова: трюк с 256 ведрами 2:36 Стена: 700 токенов в секунду 3:00 Разбиение действий на блоки (ACT) 3:37 Решение 1: сжатие (FAST) 4:10 Решение 2: один проход (OpenVLA-OFT) 4:35 Решение 3: числа в виде простого текста (VLA-0) 5:09 Решение 4: два мозга (π0, GR00T N1) 5:53 Почему начинать с шума? Согласование потоков 6:33 От фрагмента к двигателю: смешивание, ИК, ПИД 7:44 Откуда берутся обучающие данные 8:16 Попробуйте сами: SmolVLA 8:59 Весь стек за 30 секунд 🧪 Попробуйте сами SmolVLA (LerRobot с обнимающим лицом): около 50 демонстраций на недорогом манипуляторе SO-101, затем примерно 4 часа тонкой настройки (20 000 шагов) на одном A100, согласно руководству LeRobot SmolVLA. В реальных задачах робота, описанных в статье о SmolVLA, средний процент успеха составил около 78%. Руководство: https://huggingface.co/docs/lerobot/s... Модель: https://huggingface.co/lerobot/smolvl... 📚 Источники (каждое число в видео было проверено по этим источникам) • OpenVLA (Kim et al., 2024): https://arxiv.org/abs/2406.09246 · https://openvla.github.io/ • RT-2 (Brohan et al., 2023), идея токенов действий, которой следует OpenVLA: https://arxiv.org/abs/2307.15818 • ACT / ALOHA (Zhao et al., 2023): https://arxiv.org/abs/2304.13705 · https://tonyzhaozh.github.io/aloha/ • Токенизатор FAST (Pertsch et al., Physical Intelligence, 2025): https://arxiv.org/abs/2501.09747 • OpenVLA-OFT (Kim, Finn, Liang, 2025): https://arxiv.org/abs/2502.19645 · https://openvla-oft.github.io/ • VLA-0 (Goyal et al., NVIDIA, 2025): https://arxiv.org/abs/2510.13054 • π0 (Black et al., Physical Intelligence, 2024): https://arxiv.org/abs/2410.24164 · https://www.pi.website/blog/pi0 • GR00T N1 (NVIDIA, 2025): https://arxiv.org/abs/2503.14734 • Octo (диффузионная головка против усреднения): https://arxiv.org/abs/2405.12213 • SmolVLA (Шукор и др., 2025): https://arxiv.org/abs/2506.01844 • Unitree RL Gym (Тренировка → Игра → Sim2Sim в MuJoCo → Sim2Real): https://github.com/unitreerobotics/un... Примечания: ACT 1% → 44% и все оценки LIBERO получены в результате моделирования. Скорость VLA-0 измерялась в стандартном PyTorch на одной RTX 5090. Сцены с чашкой и коробкой являются иллюстрациями, а не экспериментами. 🎥 Видеоматериалы Видео с роботами: Physical Intelligence (блог π0), страница проекта OpenVLA и проект ALOHA (Стэнфорд). Все ролики с роботами демонстрируют автономное разв...