DJI Manifold 3 + Matrice 4E — Моё первое кастомное приложение с ИИ | Fenton Finder: поиск собаки
Tech In The Wild
0:00 / 0:00
DJI Manifold 3 + Matrice 4E — Моё первое кастомное приложение с ИИ | Fenton Finder: поиск собаки
956 просмотров · 2 месяца назад
Tech In The Wild
901 подписчик
956 просмотров · 2 месяца назад
В этом видео я создаю своё первое пользовательское приложение на основе ИИ для DJI Manifold 3 и Matrice 4E. Цель заключалась в обучении пользовательской модели распознаванию моей собаки Фентона и отображении ограничивающих рамок обнаружения в реальном времени внутри DJI Pilot 2 во время полёта.
Я подробно описываю весь процесс: сбор обучающих изображений и видео, маркировка Фентона в CVAT, добавление отрицательных примеров, не относящихся к Фентону, обучение нескольких версий модели YOLO, преобразование финальной модели из PyTorch в ONNX и TensorRT, установка её на Manifold 3 и тестирование в реальном времени на Matrice 4E.
Это не идеальный готовый продукт, но он демонстрирует рабочий процесс: обучение пользовательской модели ИИ, развертывание на Manifold 3 и обнаружение объектов в реальном времени через Pilot 2.
В будущих версиях можно будет добавить автоматизацию маршрута, статус «Фентон найден», отображение достоверности, контроль ложных срабатываний, интеллектуальную передачу отслеживания и повторное обнаружение в случае потери отслеживания.
Ссылка на пошаговое руководство (используйте его самостоятельно или загрузите в своего ИИ-помощника, чтобы он пошагово вас провёл):
https://docs.google.com/document/d/1U...
Разделы:
00:00 Введение
01:09 Тренировочные видеоматериалы и набор данных
02:01 Разметка CVAT
03:05 Компьютерное обучение v1 - v3
04:33 Обучение v4 - добавлено обнаружение плиток и проверка собак
05:33 Тестирование в реальных условиях - установка на Manifold 3, PyTorch, ONNX и TensorRT
06:24 Первый тест Manifold 3 в реальном времени
09:35 Вторая неудачная попытка тестирования в реальном времени и переобучение
11:51 Финальное тестирование Fenton Finder
13:54 Заключительные мысли
15:12 Следующие шаги - Автоматизированная траектория полета, статус обнаружения и уверенность, интеллектуальная передача трека и повторное обнаружение
15:58 Идеи для будущих приложений и заключение
Используемое оборудование/программное обеспечение:
DJI Matrice 4E
DJI Manifold 3
DJI Pilot 2
YOLO / Ultralytics
CVAT
TensorRT
Final Cut Pro
#DJI #Matrice4E #Manifold3 #DroneMapping #AI #YOLO #ComputerVision #TechInTheWild