Создание системы захвата движения голливудского уровня с нуля

В этом масштабном инженерном проекте, выполненном своими руками, я с нуля создал профессиональную систему оптического захвата движений (mocap), используя 16 специально разработанных камер и вычислительные модули Raspberry Pi. Благодаря разработке печатных плат, синхронизации инфракрасных светодиодных стробоскопов мощностью 2,5 кВт и написанию высокоскоростного программного обеспечения для компьютерного зрения, эта система обрабатывает более 4 миллиардов пикселей в секунду. Посмотрите, как мы достигаем точности 3D-отслеживания с точностью до долей миллиметра, используя менее 1/10 стоимости оборудования голливудских студий для анимации 3D-персонажей и VTuber-ов. Благодарим NextPCB за спонсорство этого проекта. Воплотите свои идеи в области электроники в жизнь, перейдя по этой ссылке: https://www.nextpcb.com/?code=MadeByD... И получите купон на 500 долларов на ваш первый заказ печатных плат Rev 0: https://www.nextpcb.com/rev0-pcba Видео части 2:    • The insane software behind optical motion ...   Файлы с открытым исходным кодом: 3D-файлы: https://www.printables.com/model/1745863 Документация / Печатные платы / Код: https://github.com/dennisss/dacha/blo... Discord (для технических обсуждений и т. д.):   / discord   Хотите купить камеру? https://forms.gle/kGWyutEj3ao1y2u86 Ссылки: Защитные очки, которые я использую (NoIR YG3 #52): https://www.noirinsight.com/yg3 Фоновая музыка: "DASHI - Sobayu" Высокоточный GPS для улицы: https://en.wikipedia.org/wiki/Real-ti... Видео светового шоу дрона:    • [4K 드론시점] 마지막 케데헌 드론쇼 앵콜 공연 @NetflixKoreaK...   Видео VR FluxPose:    • FLUXPOSE: The Most Exciting New VR Hardwar...   Захват движений на основе ИИ: https://github.com/zju3dv/EasyMocap Видео захвата движений Street Fighter:    • Street Fighter 6 - Alex Motion Capture - B...   Видео Sony Project Ace Robotics:    • Project Ace   Профессиональная камера начального уровня: https://optitrack.com/cameras/primex-... Справочная информация о фильтре Байера: https://en.wikipedia.org/wiki/Bayer_f... Мой PnP-машина (для установки компонентов): https://www.opulo.io/products/lumenpnp Держатели печатных плат и щупы осциллографа, которые я использую: https://sensepeek.com/pcbite-kits Самая дешевая плата Raspberry Pi: https://www.digikey.com/en/products/d... Используемый нами датчик камеры (AR0234): https://www.onsemi.com/products/senso... Используемый мной инжектор PoE: https://www.amazon.com/dp/B0D41XBXJ4 Протокол синхронизации времени (PTP): https://en.wikipedia.org/wiki/Precisi... Распиновка 22-контактного разъема камеры Raspberry Pi (мы используем GPIO1): https://www.raspberrypi.com/documenta... Спецификация ограничений мощности PoE: https://en.wikipedia.org/wiki/Power_o... Используемые нами ИК-светодиоды: https://look.ams-osram.com/m/59706141... Коэффициент излучения (для конструкции радиатора): https://en.wikipedia.org/wiki/Emissivity Разделы: 0:00 Введение 0:47 Общая информация 4:46 Ретроотражение 5:59 Датчик камеры 14:21 Вычислительная плата 18:02 Достижение точности 22:16 Слишком много ИК-излучения 26:15 Охлаждение 28:50 Сборка камеры 30:49 Обработка изображений 36:15 Заключение Исправления: 6:17 Красный цвет на изображении в основном обусловлен тем, что ИК-фильтр в камере не идеально отфильтровывает все ИК-излучение. 7:04 Я вырезал часть видео о фильтрах Байера из-за неточностей, чтобы никого не запутать. Краткое содержание: Фильтры R/G/B перед датчиком обычно уменьшают интенсивность ИК-излучения примерно на 5%, хотя ИК-фильтр в объективе более важен для предотвращения проблем.