Эффективное 3D-восприятие для автономных транспортных средств (Чжицзянь Лю @ CVPR 2023 ECV)

Автономные транспортные средства полагаются на трехмерное восприятие для понимания окружающей среды. Несмотря на значительный прогресс в повышении точности моделей восприятия, их эффективность все еще отстает от производительности в реальном времени, что препятствует их использованию в реальных приложениях. В своем приглашенном докладе на семинаре CVPR 2023 ECV я представил нашу недавнюю работу, BEVFusion (ICRA 2023), которая обеспечивает эффективное многозадачное слияние данных с нескольких датчиков путем объединения характеристик камеры, LiDAR и радара в общем пространстве обзора с высоты птичьего полета (BEV). Мы устранили узкое место в эффективности, ускорив оператор преобразования ключевого изображения в 40 раз. BEVFusion показал лучшие результаты на трех популярных тестовых наборах данных по трехмерному восприятию, включая nuScenes, Argoverse и Waymo, в различных задачах, таких как обнаружение объектов, отслеживание объектов и сегментация карт. С момента выпуска он получил более 1000 звезд на GitHub. Затем я рассказал о двух наших последних работах, FlatFormer (CVPR 2023) и SparseViT (CVPR 2023), которые направлены на ускорение обработки 2D-изображений и 3D-облаков точек для систем распознавания. FlatFormer — это эффективный преобразователь облаков точек, обеспечивающий производительность в реальном времени на периферийных графических процессорах и работающий быстрее, чем методы разреженной свертки, при сохранении высокой точности. SparseViT исследует идею пространственной разреженности в контексте преобразователей 2D-изображений и обеспечивает измеренное ускорение в 1,5 раза по сравнению со своим плотным аналогом без ущерба для точности.