Програмний комплекс виявлення та програмного захоплення цілей для FPV-дронів в умовах обмежених обчислювальних ресурсів

Abstract

Об’єкт дослідження – процес реального розпізнавання та супроводження об’єктів у відеопотоці. Предмет дослідження – методи оптимізації та зниження розрядності ваг моделей YOLO і алгоритми трекінгу для Edge-платформ. Мета роботи – розробка та оптимізація програмного комплексу автономного захоплення та утримання цілей БпЛА в реальному часі. Методи дослідження – комп’ютерний зір, фільтрація Калмана, квантування ваг моделей, мова Python з бібліотеками OpenCV та PyTorch. У роботі розроблено програмний комплекс автономного виявлення та супроводження рухомих цілей БпЛА в реальному часі. Оптимізацію обсягу даних проведено за допомогою алгоритму KASFraD, напівавтоматичної розмітки SAM3 та дедуплікації dHash з фільтрацією розмиття за Лапласіаном, що дозволило зменшити вибірку на 50.5% (до 5735 кадрів) при балансі класів 90% на 10%. Запропоновано конвеєр на базі детектора YOLO26-nano та трекера OC-SORT з асинхронною трипотоковою архітектурою. Перехід до напівточності FP16 знизив затримку інференсу до 1.81 мс та підвищив швидкодію до 552.7 FPS при мінімальній втраті mAP50 на 0.24% (до 0.7563). Трекер OC-SORT продемонстрував стійкість до зміни ракурсів та перекриттів об'єктів з оцінкою HOTA 52.12%. Загальна латентність обробки кадру становить 2.761 мс, що задовольняє вимоги реального часу. Результати рекомендовано для впровадження на вбудованих платформах сімейства NVIDIA Jetson Orin Nano.