Розроблення програмного застосунку для розпізнавання жестової мови у реальному часі

Abstract

Об’єктом роботи є розпізнавання жестової мови в реальному часі за допомогою програмного застосунку, який використовує методи комп’ютерного зору та машинного навчання. Метою роботи є розроблення програмного застосунку, здатного розпізнавати жести української жестової мови та перетворювати їх у текстові повідомлення для покращення комунікації між людьми з порушеннями слуху та тими, хто не володіє жестовою мовою. Використано методи згорткових нейронних мереж та рекурентних нейронних мереж для аналізу відеопотоку та класифікації жестів. Проведено дослідження методів детектування ключових точок рук, обробки послідовностей кадрів та навчання моделей на основі зібраних даних. У результаті роботи здійснена програмна реалізація системи, яка дозволяє збирати дані для 108 базових українських жестів мовлення, навчати модель та розпізнавати жести в реальному часі.