Automatic sign language translation system  using neural network technologies and 3d animation

Shovkovyi, Y.; Grynyova, O.; Udovenko, S.; Chala , L.

Публікація:
Automatic sign language translation system using neural network technologies and 3d animation

dc.contributor.author	Shovkovyi, Y.
dc.contributor.author	Grynyova, O.
dc.contributor.author	Udovenko, S.
dc.contributor.author	Chala , L.
dc.date.accessioned	2024-01-05T18:11:25Z
dc.date.available	2024-01-05T18:11:25Z
dc.date.issued	2023
dc.description.abstract	Упровадження програмних засобів автоматичного сурдоперекладу в процес соціальної інклюзії людей з вадами слуху є важливим завданням. Соціальна інклюзія для осіб із вадами слуху є нагальною проблемою, яку необхідно вирішувати з огляду на розвиток IT-технологій та законодавчі ініціативи, що забезпечують права людей з інвалідністю та їхні рівні можливості. Сказане обґрунтовує актуальність дослідження асистивних технологій у контексті програмних засобів, таких як процес соціального залучення людей з важкими порушеннями слуху в суспільство. Предметом дослідження є методи автоматизованого сурдоперекладу із застосуванням інтелектуальних технологій. Мета роботи – розроблення та дослідження методів автоматизації сурдоперекладу для поліпшення якості життя людей з вадами слуху відповідно до «Цілей сталого розвитку України» (в частині «Скорочення нерівності»). Основними завданнями дослідження є розроблення й тестування методів перетворення жестової мови в текст, перетворення тексту в жестову мову, а також автоматизації перекладу з однієї жестової мови іншою жестовою мовою із застосуванням сучасних інтелектуальних технологій. Для розв’язання цих завдань використовувались методи нейромережного моделювання та 3D-анімації. Унаслідок дослідження здобуто такі результати: виявлено основні проблеми й завдання соціальної інклюзії для людей з вадами слуху; здійснено порівняльний аналіз сучасних методів і програмних платформ автоматичного сурдоперекладу; запропоновано й досліджено систему, що об’єднує метод SL-to-Text; метод Text-to-SL з використанням 3D-анімації для генерації концептів жестової мови; метод генерації 3D-анімованого жесту з відеозаписів; метод реалізації технології Sign Language1 to Sign Language2. Для розпізнавання жестів застосовано модель згорткової нейронної мережі, що навчається за допомогою імпортованих і згенерованих системою датасетів відеожестів. Навчена модель має високу точність розпізнавання (98,52 %). Створення 3D-моделі для відображення жесту на екран і його оброблення відбувалися у середовищі Unity 3D. Структура проєкту, виконавчих і допоміжних файлів, що застосовуються для побудови 3D-анімації для генерації концептів жестової мови містить: файли обробників подій; результати відображення, що мають інформацію про положення відслідкованих точок тіла; файли, що зберігають характеристики матерій, які були додані до тих чи інших точок відображення тіла. Висновки: запропоновані методи автоматизованого перекладу мають практичну значущість, що підтверджують демоверсії програмних застосунків Sign Language to Text і Text to Sign Language. Перспективним напрямом подальших досліджень з окресленої теми є вдосконалення методів SL1-to-SL2, створення відкритих датасетів відеожестів, залучення науковців і розробників для наповнення словників концептами різних жестових мов.
dc.identifier.citation	Automatic sign language translation system using neural network technologies and 3d animation / Y. Shovkovyi, O. Grynyova, S. Udovenko, L. Chala // Innovative technologies and scientific solutions for industries. – 2023. – № 4 (26). – P. 108-121.
dc.identifier.issn	2524-2296
dc.identifier.uri	https://openarchive.nure.ua/handle/document/25238
dc.language.iso	en
dc.relation.ispartofseries	4; 26
dc.subject	автоматизація жестового мовлення
dc.subject	анімований персонаж
dc.subject	відслідковування положення тіла
dc.subject	люди з вадами слуху
dc.subject	розпізнавання жестів
dc.subject	сурдопереклад
dc.title	Automatic sign language translation system using neural network technologies and 3d animation
dc.title.alternative	Система автоматичного сурдоперекладу з використанням нейромережних технологій та 3D-анімації
dc.type	Article
dspace.entity.type	Publication