Дослідження методів розпізнавання та відстеження рухів рук людини за допомогою нейронних мереж

Abstract

Об’єктом дослідження є процес розпізнавання та відстеження рухів рук людини у відеопотоці в реальному часі. Предметом дослідження є методи класифікації статичних і динамічних жестів на основі координат ключових точок та трансформерних моделей. Метою дослідження є підвищення точності розпізнавання жестів шляхом розроблення гібридного підходу, що поєднує визначення ключових точок за допомогою MediaPipe, синтетичні та реальні дані, а також трансформерну архітектуру HandTransformer. Використано методи комп’ютерного зору, глибинного навчання, скелетного відстеження та аналізу часових рядів. Наукова новизна роботи полягає у поєднанні синтетично згенерованих і реальних траєкторій жестів для навчання єдиної трансформерної моделі, здатної розпізнавати як статичні, так і динамічні жести. Взаємозв’язок з іншими роботами полягає у використанні сучасних підходів комп’ютерного зору та нейронних мереж у системах жестового керування.