Мирошник, Ю. Ю.2025-08-052025-08-052025Мирошник Ю. Ю. Нейромережевий підхід до розробки метрики оцінювання точності синхронізації мовлення та руху губ у віртуальних аватарах : пояснювальна записка до кваліфікаційної роботи здобувача вищої освіти на другому (магістерському) рівні, спеціальність 122 Комп’ютерні науки / Ю. Ю. Мирошник ; М-во освіти і науки України, Харків. нац. ун-т радіоелектроніки. – Харків, 2025. – 95 с.https://openarchive.nure.ua/handle/document/32350Об'єкт дослідження – системи автоматичного генерування синхронізованих візуалізацій мовлення для віртуальних аватарів на основі глибоких нейронних мереж. Предмет дослідження – методи підвищення точності синхронізації мовлення та рухів губ у відео з віртуальними аватарами за допомогою удосконалених метрик аудіо-відео синхронізації. Мета роботи – розробка та вдосконалення метрики синхронізації на основі моделей аудіо-відео синхронізації для підвищення точності та стабільності роботи систем генерації аудіо-візуальної синхронізації губ. Методи дослідження – теоретичні (аналіз наукової літератури, порівняння існуючих підходів) та практичні (розробка модифікацій моделі оцінки синхронізації та їх експериментальна перевірка). Наукова новизна полягає у розробці нової архітектури моделі оцінки аудіо-відео синхронізації AVAlignNet, яка демонструє покращені показники точності та стабільності порівняно з існуючими аналогами. Досліджено вплив різних архітектурних рішень та гіперпараметрів на ефективність навчання AVAlignNet. Результатом дослідження є розроблена та експериментально перевірена модель оцінки аудіо-відео синхронізації, яка покращує існуючі підходи до оцінки аудіо-відео синхронізації. Проведено детальний аналіз процесу підготовки даних та факторів, що впливають на узагальнювальну здатність моделей на різнорідних датасетах.ukаудіо-відео синхронізаціясинхронізація руху губвіртуальний аватаргенеративно-змагальна мережаглибоке навчаннядифузійна модельOther