Можно ли доказать безопасность робота с ИИ? | Раян Мазуз, New Theory (экс-NASA JPL)

Райан Мазуз — научный сотрудник New Theory и бывший исследователь в области робототехники в Лаборатории реактивного движения НАСА. Его исследования связывают точное наведение с формальной верификацией и управлением автономными системами. Его статья, написанная в соавторстве, о точной посадке на Титан получила премию AIAA Guidance, Navigation and Control Best Paper Award 2021 года. Робот может научиться выполнять задачу, не гарантируя при этом безопасного поведения. Прежде чем использовать контроллер на основе нейронной сети, как количественно оценить вероятность того, что система избежит небезопасных состояний, и что произойдет, когда реальный мир нарушит предположения модели? В статье «Точное наведение и безопасность в робототехнике» Райан связывает проблемы автономной посадки на планету с проверкой безопасности для обученных динамических систем. Он объясняет, как стохастические барьерные функции и оптимизация методом суммы квадратов могут установить нижние границы вероятности безопасности, и как синтез управления может улучшить эти границы. Важно отметить, что это математические гарантии при заданных предположениях, а не общее обещание, что робот не может потерпеть неудачу. В ходе обсуждения также проводится различие между математической и семантической безопасностью. Сертификация движения в пределах определенной безопасной области не означает автоматически, что робот понимает, что он должен делать. В разделе вопросов и ответов рассматриваются несоответствие моделей, гауссовский шум и редкие события, безопасность в скрытых пространствах модели мира, движущиеся препятствия, а также разница между проверкой политики и изменением ее действий. Рассматриваемые темы: • Точная посадка, оптимальное управление и автономность при отсутствии GPS • Точное отслеживание и надежное выполнение стратегии • Динамические системы нейронных сетей и неопределенность модели • Стохастические барьерные функции и вероятностные сертификаты безопасности • Оптимизация методом сумм квадратов и синтез контроллера • Математическая безопасность против семантической безопасности • Несоответствие распределений, редкие события и изменяющиеся во времени сертификаты • Верификация против вмешательства в изученные стратегии Статья — Гарантии безопасности для динамических систем нейронных сетей с помощью стохастических барьерных функций: https://arxiv.org/abs/2206.07811 Код: https://github.com/aria-systems-group... Связанные работы — Изменяющиеся во времени сертификаты управления предотвращением столкновений для стохастических систем: https://arxiv.org/abs/2603.25816 Точная посадка Статья: https://doi.org/10.2514/6.2021-1345 Новая теория: https://www.newtheory.ai/ Представлено на: Bay Area Frontier Research Club #15 — Воплощенный ИИ Запись: Mission Robotics, Сан-Франциско, 29 июля 2026 г. Frontier Research Club — это тщательно отобранный форум для серьезного обсуждения того, как ИИ меняет процесс научных исследований. Мы объединяем исследователей, специалистов по вычислительным наукам и инженеров-исследователей для изучения конкретных работ в области синтеза литературы, генерации гипотез, экспериментального проектирования, моделирования, анализа, безопасности и воспроизводимости. Присоединяйтесь к предстоящим мероприятиям Frontier Syndicate: https://luma.com/frontiersyndicate Подпишитесь на больше докладов и бесед о передовых исследованиях:    / @frontierresearchclub