Мультимодальна система обробки та аналізу коротких новинних відео

Abstract

Мета роботи – автоматична ідентифікація фальшивого контенту у новинних відео з використанням найсучасніших методів розпізнавання мовлення, обробки природної мови та комп’ютерного зору. Методи дослідження – автоматичне розпізнавання мовлення на основі трансформатора; багатомовні моделі для вилучення тверджень та семантичного втягування; класичні та глибоко навчальні алгоритми аналізу зображень (аналіз рівня помилок, кореляція PRNU, легкі CNN, детектори дипфейків); локально-чутливе хешування та пошук приблизного найближчого сусіда для швидкого виявлення дублікатів; статистичне об’єднання рішень.