LeRobot: Открытое программное обеспечение для сквозного обучения роботов от Стивена и Пепийна из ...

В этом интервью мы подробно рассмотрим LeRobot, библиотеку для обучения роботов с открытым исходным кодом от Hugging Face, вместе со Стивеном Пальмой и Пепием Кооймансом из команды LeRobot! Если вы хотите поэкспериментировать с ИИ для обработки текста, вам нужен всего лишь ноутбук, но если вы хотите поэкспериментировать с ИИ для роботов, вам нужен робот, и долгое время это означало что-то стоимостью около 100 000 долларов. Поэтому Стивен, Пепейн и их команда создали LeRobot, которая, по сути, является тем же самым, что и библиотека Transformers для обработки естественного языка, но для робототехники. Это одна библиотека, которая позволяет вам начать работу с недорогой манипуляторной системы, такой как SO-101, записывать данные, обучать алгоритмы (ACT, SmolVLA, вплоть до портов серии π) и запускать их непосредственно на реальном роботе. Сейчас на платформе LeRobot размещено около 88 000 наборов данных, содержащих более 200 терабайт данных о роботах (и это число продолжает расти)! Мы обсудим: как начать заниматься робототехникой почему реальный мир намного лучше симуляции как выглядит перенос VLA, например, π0.5 почему почти никакие данные больше не являются плохими, если они правильно помечены эссе Стивена о том, почему открытая робототехника делает нас безопаснее как передовые модели, такие как Astra, управляют роботами, используя классический код обратной кинематики устарели ли VLA теперь, когда появились модели действий в реальном мире и почему робототехника намного сложнее, чем язык программирования! Кстати, потрясающая сессия, я постарался включить в видео множество ссылок, надеюсь, вам понравится! 👉 Steven Hugging Face: https://huggingface.co/imstevenpmwork 👉 Pepijn Hugging Face: https://huggingface.co/pepijn223 👉 LeRobot (GitHub): https://github.com/huggingface/lerobot 👉 LeRobot: библиотека с открытым исходным кодом для сквозного обучения роботов (основная статья): https://arxiv.org/abs/2602.22818 👉 Почему я считаю, что открытая робототехника делает нас безопаснее, а не менее безопасными (эссе Стивена): https://imstevenpmwork-open-robotics-... 👉 FineART (статья): https://arxiv.org/abs/2609.36416 Посмотрите Arcee (американская лаборатория открытых исследований и спонсор этого интервью): ♥️ https://www.arcee.ai/ Также ознакомьтесь с Trinity Large Thinking: ♥️ https://www.arcee.ai/blog/trinity-lar... ♥️ и посмотрите на NAC-шлем: https://www.arcee.ai/blog/nac Содержание: 00:00:00 - Чтобы играть с ИИ для роботов, вам нужен робот 00:01:41 - Спонсор: Arcee и NAC-шлем 00:03:43 - Познакомьтесь со Стивеном и Пепийном из LeRobot 00:04:02 - Чем вы занимались до того, как занялись робототехникой? 00:05:59 - Как бы вы посоветовали кому-нибудь заняться робототехникой? 00:09:07 - Как мне заинтересовать робототехникой моего 7-летнего ребенка? 00:11:55 - Что такое LeRobot? Комплексный конвейер обучения роботов 00:15:32 - LeRobot — это библиотека Transformers для робототехники? 00:17:38 - Аппаратное обеспечение с открытым исходным кодом и удешевление производства роботов 00:21:22 - Почему сначала реальный мир, а не моделирование? 00:24:32 - Сообщество LeRobot: любители, стартапы, лаборатории + глобальный хакатон 00:27:35 - Для исследований в области робототехники не нужен огромный бюджет 00:29:41 - Как исследовательские лаборатории и промышленность взаимодействуют? 00:32:35 - Ничто само по себе не решит все проблемы робототехники: данные, размер модели, задержка, заводской Wi-Fi 00:37:08 - Использует ли Astra сейчас обобщение с нулевым количеством примеров уровня GPT-3? 00:39:59 - модели передовых разработок, возвращающиеся к классической робототехнике с использованием скриптов обратной кинематики 00:42:53 - токенизированные действия RT-1 и настройки Системы 1/Системы 2 00:45:53 - есть ли планы по упрощению использования робототехники? 00:49:14 - LeRobot — это платформа или просто очень хорошая библиотека? 00:50:40 - 3 принципа LeRobot 00:53:08 - как выглядит портирование VLA, например, π0.5? 00:55:40 - оптимизации сообщества против статьи + невозможно провести вибрационное тестирование робота 00:58:31 - есть ли предвзятость в отношении одних политик по сравнению с другими? 00:59:57 - выживание сильнейших в политике 01:03:42 - могут ли наборы данных LeRobot (88 тыс.) обеспечить широкое обобщение? 01:05:52 - маленькая книга в большой библиотеке, которую может прочитать каждый 01:08:01 - что отличает хорошие демонстрационные данные от плохих? 01:09:21 - почти никакие данные не являются плохими, если они правильно помечены (с участием FineART) 01:13:01 - записывайте как можно больше типов данных с датчиков 01:16:46 - основной аргумент эссе Стивена об открытой робототехнике и безопасности 01:23:54 - ставьте узкое место на оборудование, а не на исследования 01:26:51 - аналогия с Wi-Fi 01:28:17 - близки ли мы к открытию закона масштабирования для робототехники? 01:31:25 - Могут ли существовать ...