Гібридна система детекції та інтерпретації ознак синтезованого мовлення за сукупністю спектрально-фазових та SSL-характеристик

Abstract

Об’єкт дослідження – процес автоматичного виявлення синтезованого мовлення в аудіосигналах. Предмет дослідження – методи аналізу, виділення та інтеграції спектральних, фазових, просодичних і SSL-характеристик для визначення автентичності мовного аудіосигналу. Мета роботи – розробити концепцію гібридної системи детекції та інтерпретації ознак синтезованого мовлення, що дозволить визначати штучне походження аудіозапису на основі комплексного аналізу акустичних характеристик і нейромережевих представлень мовлення. Методи дослідження – порівняльний аналіз сучасних підходів до детекції синтезованого мовлення, аналіз методів цифрової обробки аудіосигналів, дослідження спектральних, фазових і просодичних ознак, а також аналіз моделей самокерованого навчання. У звіті розглянуто сучасні виклики виявлення синтезованого мовлення, пов’язані з розвитком нейронного синтезу, клонування голосу та deepfake-аудіо. Проаналізовано основні групи методів детекції, зокрема підходи на основі кепстральних ознак, нейромережевих архітектур, моделей самокерованого навчання та гібридного поєднання різних типів представлень. Обґрунтовано доцільність створення системи, яка враховує не лише спектральну структуру аудіосигналу, а й фазові, просодичні та SSL-характеристики.