NLP-пайплайн для обробки новинних потоків із генерацією аудіо-контенту

Abstract

Об’єкт дослідження – процес автоматизованого збору, інтелектуальної обробки та візуалізації неструктурованих текстових даних із новинних джерел. Предмет дослідження – методи обробки природної мови, моделі машинного навчання для сумаризації та синтезу мовлення, а також алгоритми нормалізації даних для побудови аналітичних дашбордів. Мета роботи – розробка комплексної автоматизованої системи для парсингу Telegram-каналів, глибокого NLP-аналізу новинних потоків, генерації аудіо-дайджестів та підготовки структурованих баз даних для інтерактивних систем бізнес-аналітики. Методи дослідження – вивчення методів обробки природної мови, включаючи NER, Zero-Shot Classification, тестування архітектур великих мовних моделей (LLM) та систем синтезу мовлення (TTS), аналіз документації до бібліотек обраних мов програмування (Python, C#), застосування методів проектування баз даних та налаштування BI-систем у середовищі Power BI. У процесі дослідження були використані наступні технології: Python, FastAPI, C#, Entity Framework, mitmproxy, Microsoft Power BI, а також нейромережеві моделі mDeBERTa, GLiNER, Qwen та Silero. В рамках роботи був інтегрований комплексний NLP-пайплайн для семантичного аналізу новин у мікросервісний застосунок із функціоналом генерації аудіо дайджестів, створення та візуалізації аналітичних звітів.