Система управління роботизованим маніпулятором на основі розпізнавання жестів руки

Abstract

Об’єкт дослідження – процес людино- машинної взаємодії під час керування роботизованими маніпуляторами. Предмет дослідження – методи та програмні засоби розпізнавання жестів руки й алгоритми перетворення цих жестів у керуючі дії для маніпулятора Franka Emi ka Panda. Мета роботи – підвищення ефективності й надійності керування роботизованим маніпуляторам, шляхом застосування жестового інтерфейсу на основі комп’ютерного зору та симуляційного моделювання з урахуванням вимог безпеки та зручності оператора. У роботі проведено огляд сучасних роботизованих маніпуляторів, систем жестового керування та інструментів комп’ютерного зору. Проаналізовано можливості камерних, глибинних та інерційних сенсорів для безконтактної взаємодії . Запропоновано архі тектуру системи, що включає модулі обробки відеопотоку, формування вектора ознак, класифікації жестів, інтерпретації команд та керування маніпулятором у локальній системі координат. Проведено експериментальні дослідження для набору з 1 2 статичних жестів Наукова новизна полягає в комплексній реалізації жестового керування маніпулятором Franka Emika Panda з використанням локальних координат, шаблонної класифікації жестів і вбудованих механізмів безпечного керування.