RC-MVSNet: неконтролируемое многоракурсное стереозрение с нейронным рендерингом (ECCV'22)

Проект: https://boese0601.github.io/rc-mvsnet/ Код: https://github.com/Boese0601/RC-MVSNet Статья: https://arxiv.org/abs/2203.03949 Аннотация: Поиск точных соответствий между различными ракурсами является ахиллесовой пятой неконтролируемого многоракурсного стереоизображения (MVS). Существующие методы основаны на предположении, что соответствующие пиксели имеют схожие фотометрические характеристики. Однако в реальных условиях многоракурсные изображения отображают неламбертовские поверхности и подвержены окклюзиям. В этой работе мы предлагаем новый подход с использованием нейронного рендеринга (RC-MVSNet) для решения таких проблем неоднозначности соответствий между ракурсами. В частности, мы используем функцию потерь согласованности рендеринга глубины для ограничения геометрических характеристик вблизи поверхности объекта, чтобы уменьшить окклюзии. Одновременно мы вводим функцию потерь синтеза эталонного изображения для обеспечения согласованного контроля, даже для неламбертовских поверхностей. Обширные эксперименты на бенчмарках DTU и Tanks&Temples демонстрируют, что наш подход достигает самых современных результатов в рамках неконтролируемых MVS-фреймворков и конкурентоспособных результатов по сравнению со многими контролируемыми методами. Наш код будет опубликован на RC-MVSNet.