Нейромережевий підхід до розробки метрики оцінювання точності синхронізації мовлення та руху губ у віртуальних аватарах

Мирошник, Ю. Ю.

Публікація:
Нейромережевий підхід до розробки метрики оцінювання точності синхронізації мовлення та руху губ у віртуальних аватарах

dc.contributor.author	Мирошник, Ю. Ю.
dc.date.accessioned	2025-08-05T10:52:26Z
dc.date.available	2025-08-05T10:52:26Z
dc.date.issued	2025
dc.description.abstract	Об'єкт дослідження – системи автоматичного генерування синхронізованих візуалізацій мовлення для віртуальних аватарів на основі глибоких нейронних мереж. Предмет дослідження – методи підвищення точності синхронізації мовлення та рухів губ у відео з віртуальними аватарами за допомогою удосконалених метрик аудіо-відео синхронізації. Мета роботи – розробка та вдосконалення метрики синхронізації на основі моделей аудіо-відео синхронізації для підвищення точності та стабільності роботи систем генерації аудіо-візуальної синхронізації губ. Методи дослідження – теоретичні (аналіз наукової літератури, порівняння існуючих підходів) та практичні (розробка модифікацій моделі оцінки синхронізації та їх експериментальна перевірка). Наукова новизна полягає у розробці нової архітектури моделі оцінки аудіо-відео синхронізації AVAlignNet, яка демонструє покращені показники точності та стабільності порівняно з існуючими аналогами. Досліджено вплив різних архітектурних рішень та гіперпараметрів на ефективність навчання AVAlignNet. Результатом дослідження є розроблена та експериментально перевірена модель оцінки аудіо-відео синхронізації, яка покращує існуючі підходи до оцінки аудіо-відео синхронізації. Проведено детальний аналіз процесу підготовки даних та факторів, що впливають на узагальнювальну здатність моделей на різнорідних датасетах.
dc.identifier.citation	Мирошник Ю. Ю. Нейромережевий підхід до розробки метрики оцінювання точності синхронізації мовлення та руху губ у віртуальних аватарах : пояснювальна записка до кваліфікаційної роботи здобувача вищої освіти на другому (магістерському) рівні, спеціальність 122 Комп’ютерні науки / Ю. Ю. Мирошник ; М-во освіти і науки України, Харків. нац. ун-т радіоелектроніки. – Харків, 2025. – 95 с.
dc.identifier.uri	https://openarchive.nure.ua/handle/document/32350
dc.language.iso	uk
dc.subject	аудіо-відео синхронізація
dc.subject	синхронізація руху губ
dc.subject	віртуальний аватар
dc.subject	генеративно-змагальна мережа
dc.subject	глибоке навчання
dc.subject	дифузійна модель
dc.title	Нейромережевий підхід до розробки метрики оцінювання точності синхронізації мовлення та руху губ у віртуальних аватарах
dc.type	Other
dspace.entity.type	Publication