Методи генерації голосових повідомлень у системах коментування спортивних змагань - Біліченко, О. О. (My University, 2024)
Метою роботи є створення системи для подійного генерування голосових повідомлень, яка може імітувати коментатора спортивних трансляцій на основі вхідних відеоданих. Вимогами до системи є можливість генерувати професійні та лаконічні голосові коментарі до спортивних подій. В рамках роботи проаналізовано проблемну область (набуття експертності в області суддівства спортивних змагань з обраного виду спорту), існуючі технології аналізу відео, генерування тексту та аудіо; створена модель системи коментування спортивних змагань з обраного виду спорту; розроблено робочі модулі детектування та класифікації подій (в контексті гравців) на майданчику та подійного генерування голосових повідомлень. Для вдосконалення розроблених модулів системи було проведено дослідження, які показали переваги мультимодального запиту до генеративної моделі, а також визначили тип оптимізатора для найбільш точного детектування та класифікації динамічних обєктів.
Methods for Generating Voice Messages in Sports Commentary Systems
Keywords: нейронна мережа; детектування; генерація голосових повідомлень