Публікація: Нейромережевий підхід до розробки метрики оцінювання точності синхронізації мовлення та руху губ у віртуальних аватарах
Завантаження...
Дата
2025
Автори
Назва журналу
ISSN журналу
Назва тома
Видавництво
Анотація
Об'єкт дослідження – системи автоматичного генерування синхронізованих візуалізацій мовлення для віртуальних аватарів на основі глибоких нейронних мереж. Предмет дослідження – методи підвищення точності синхронізації мовлення та рухів губ у відео з віртуальними аватарами за допомогою удосконалених метрик аудіо-відео синхронізації. Мета роботи – розробка та вдосконалення метрики синхронізації на основі моделей аудіо-відео синхронізації для підвищення точності та стабільності роботи систем генерації аудіо-візуальної синхронізації губ. Методи дослідження – теоретичні (аналіз наукової літератури, порівняння існуючих підходів) та практичні (розробка модифікацій моделі оцінки синхронізації та їх експериментальна перевірка). Наукова новизна полягає у розробці нової архітектури моделі оцінки аудіо-відео синхронізації AVAlignNet, яка демонструє покращені показники точності та стабільності порівняно з існуючими аналогами. Досліджено вплив різних архітектурних рішень та гіперпараметрів на ефективність навчання AVAlignNet. Результатом дослідження є розроблена та експериментально перевірена модель оцінки аудіо-відео синхронізації, яка покращує існуючі підходи до оцінки аудіо-відео синхронізації. Проведено детальний аналіз процесу підготовки даних та факторів, що впливають на узагальнювальну здатність моделей на різнорідних датасетах.
Опис
Ключові слова
аудіо-відео синхронізація, синхронізація руху губ, віртуальний аватар, генеративно-змагальна мережа, глибоке навчання, дифузійна модель
Бібліографічний опис
Мирошник Ю. Ю. Нейромережевий підхід до розробки метрики оцінювання точності синхронізації мовлення та руху губ у віртуальних аватарах : пояснювальна записка до кваліфікаційної роботи здобувача вищої освіти на другому (магістерському) рівні, спеціальність 122 Комп’ютерні науки / Ю. Ю. Мирошник ; М-во освіти і науки України, Харків. нац. ун-т радіоелектроніки. – Харків, 2025. – 95 с.