Публікація:
Automatic sign language translation system using neural network technologies and 3d animation

Завантаження...
Зображення мініатюри

Дата

2023

Назва журналу

ISSN журналу

Назва тома

Видавництво

Дослідницькі проекти

Організаційні підрозділи

Видання журналу

Анотація

Упровадження програмних засобів автоматичного сурдоперекладу в процес соціальної інклюзії людей з вадами слуху є важливим завданням. Соціальна інклюзія для осіб із вадами слуху є нагальною проблемою, яку необхідно вирішувати з огляду на розвиток IT-технологій та законодавчі ініціативи, що забезпечують права людей з інвалідністю та їхні рівні можливості. Сказане обґрунтовує актуальність дослідження асистивних технологій у контексті програмних засобів, таких як процес соціального залучення людей з важкими порушеннями слуху в суспільство. Предметом дослідження є методи автоматизованого сурдоперекладу із застосуванням інтелектуальних технологій. Мета роботи – розроблення та дослідження методів автоматизації сурдоперекладу для поліпшення якості життя людей з вадами слуху відповідно до «Цілей сталого розвитку України» (в частині «Скорочення нерівності»). Основними завданнями дослідження є розроблення й тестування методів перетворення жестової мови в текст, перетворення тексту в жестову мову, а також автоматизації перекладу з однієї жестової мови іншою жестовою мовою із застосуванням сучасних інтелектуальних технологій. Для розв’язання цих завдань використовувались методи нейромережного моделювання та 3D-анімації. Унаслідок дослідження здобуто такі результати: виявлено основні проблеми й завдання соціальної інклюзії для людей з вадами слуху; здійснено порівняльний аналіз сучасних методів і програмних платформ автоматичного сурдоперекладу; запропоновано й досліджено систему, що об’єднує метод SL-to-Text; метод Text-to-SL з використанням 3D-анімації для генерації концептів жестової мови; метод генерації 3D-анімованого жесту з відеозаписів; метод реалізації технології Sign Language1 to Sign Language2. Для розпізнавання жестів застосовано модель згорткової нейронної мережі, що навчається за допомогою імпортованих і згенерованих системою датасетів відеожестів. Навчена модель має високу точність розпізнавання (98,52 %). Створення 3D-моделі для відображення жесту на екран і його оброблення відбувалися у середовищі Unity 3D. Структура проєкту, виконавчих і допоміжних файлів, що застосовуються для побудови 3D-анімації для генерації концептів жестової мови містить: файли обробників подій; результати відображення, що мають інформацію про положення відслідкованих точок тіла; файли, що зберігають характеристики матерій, які були додані до тих чи інших точок відображення тіла. Висновки: запропоновані методи автоматизованого перекладу мають практичну значущість, що підтверджують демоверсії програмних застосунків Sign Language to Text і Text to Sign Language. Перспективним напрямом подальших досліджень з окресленої теми є вдосконалення методів SL1-to-SL2, створення відкритих датасетів відеожестів, залучення науковців і розробників для наповнення словників концептами різних жестових мов.

Опис

Ключові слова

автоматизація жестового мовлення, анімований персонаж, відслідковування положення тіла, люди з вадами слуху, розпізнавання жестів, сурдопереклад

Бібліографічний опис

Automatic sign language translation system using neural network technologies and 3d animation / Y. Shovkovyi, O. Grynyova, S. Udovenko, L. Chala // Innovative technologies and scientific solutions for industries. – 2023. – № 4 (26). – P. 108-121.

DOI