Мультимодальний синтез навчального відеоконтенту на основі семантичного аналізу презентаційних та аудіоматеріалів

Abstract

Обʼєкт дослідження – процес автоматизованого мультимодального синтезу та конвеєрної генерації навчального відеоконтенту шляхом наскрізного семантичного аналізу й динамічного узгодження різнорідних презентаційних та аудіоматеріалів. Предмет дослідження – моделі, алгоритми та програмні архітектури семантичного маппінгу дискретних візуальних структур, когнітивного аналізу графічних компонентів лекцій та pre-цизійного часового вирівнювання мультимедійних потоків із використанням генеративних великих мовних моделей та систем автоматичного розпізнавання мовлення. Мета роботи – розробка веб-застосунку PodcastSlide для автоматичної генерації синхронізованих відеолекцій на основі PDF-презентацій та аудіозаписів із застосуванням методів ASR та семантичного аналізу на базі великих мовних моделей. Методи дослідження – обробка природної мови та трансформерні моделі (GPT-5, GPT-4O-mini), комп’ютерний зір та мультимодальна екстракція даних (GPT-4O Vision), автоматичне розпізнавання мовлення на основі глибокого навчання (Whisper API) та цифрова обробка сигналів (FFmpeg). Розроблений програмний застосунок PodcastSlide автоматизує синтез синхронізованого відеоконтенту у форматі MP4 з PDF-презентацій та аудіозаписів за допомогою новітнього алгоритму семантичного маппінгу на базі GPT-5 із механізмом автоматичної корекції