Кафедра штучного інтелекту (ШІ)
Постійний URI для цієї колекції
Перегляд
Перегляд Кафедра штучного інтелекту (ШІ) за автором "Grynyova, O."
Зараз показано 1 - 1 з 1
Результатів на сторінку
Варіанти сортування
Публікація Automatic sign language translation system using neural network technologies and 3d animation(2023) Shovkovyi, Y.; Grynyova, O.; Udovenko, S.; Chala , L.Упровадження програмних засобів автоматичного сурдоперекладу в процес соціальної інклюзії людей з вадами слуху є важливим завданням. Соціальна інклюзія для осіб із вадами слуху є нагальною проблемою, яку необхідно вирішувати з огляду на розвиток IT-технологій та законодавчі ініціативи, що забезпечують права людей з інвалідністю та їхні рівні можливості. Сказане обґрунтовує актуальність дослідження асистивних технологій у контексті програмних засобів, таких як процес соціального залучення людей з важкими порушеннями слуху в суспільство. Предметом дослідження є методи автоматизованого сурдоперекладу із застосуванням інтелектуальних технологій. Мета роботи – розроблення та дослідження методів автоматизації сурдоперекладу для поліпшення якості життя людей з вадами слуху відповідно до «Цілей сталого розвитку України» (в частині «Скорочення нерівності»). Основними завданнями дослідження є розроблення й тестування методів перетворення жестової мови в текст, перетворення тексту в жестову мову, а також автоматизації перекладу з однієї жестової мови іншою жестовою мовою із застосуванням сучасних інтелектуальних технологій. Для розв’язання цих завдань використовувались методи нейромережного моделювання та 3D-анімації. Унаслідок дослідження здобуто такі результати: виявлено основні проблеми й завдання соціальної інклюзії для людей з вадами слуху; здійснено порівняльний аналіз сучасних методів і програмних платформ автоматичного сурдоперекладу; запропоновано й досліджено систему, що об’єднує метод SL-to-Text; метод Text-to-SL з використанням 3D-анімації для генерації концептів жестової мови; метод генерації 3D-анімованого жесту з відеозаписів; метод реалізації технології Sign Language1 to Sign Language2. Для розпізнавання жестів застосовано модель згорткової нейронної мережі, що навчається за допомогою імпортованих і згенерованих системою датасетів відеожестів. Навчена модель має високу точність розпізнавання (98,52 %). Створення 3D-моделі для відображення жесту на екран і його оброблення відбувалися у середовищі Unity 3D. Структура проєкту, виконавчих і допоміжних файлів, що застосовуються для побудови 3D-анімації для генерації концептів жестової мови містить: файли обробників подій; результати відображення, що мають інформацію про положення відслідкованих точок тіла; файли, що зберігають характеристики матерій, які були додані до тих чи інших точок відображення тіла. Висновки: запропоновані методи автоматизованого перекладу мають практичну значущість, що підтверджують демоверсії програмних застосунків Sign Language to Text і Text to Sign Language. Перспективним напрямом подальших досліджень з окресленої теми є вдосконалення методів SL1-to-SL2, створення відкритих датасетів відеожестів, залучення науковців і розробників для наповнення словників концептами різних жестових мов.