Розробка системи генерації тексту за допомогою нейронних мереж

Abstract

Об'єкт дослідження – задача автоматичної генерації текстів природною мовою. Предмет дослідження – застосування нейронних мереж архітектури Transformer для побудови системи генерації тексту. Мета роботи – розроблення системи автоматичної генерації зв’язного україномовного тексту на основі попередньо навченої мовної моделі архітектури Transformer із донавчанням під цільову предметну галузь. Методи дослідження – теоретичний аналіз науково-технічної літератури та порівняльний аналіз архітектур нейронних мереж; експериментальні методи – програмна реалізація системи, донавчання мовної моделі методом LoRA та оцінювання якості генерації за метриками перплексії, BLEU та ROUGE. Методи розробки базуються на технологіях Python із бібліотеками PyTorch, Hugging Face Transformers і PEFT. У результаті виконання кваліфікаційної роботи розроблено, реалізовано та експериментально досліджено систему генерації тексту. Виконано аналіз предметної галузі та огляд архітектур нейронних мереж; спроєктовано архітектуру системи та її програмних модулів. Сформовано україномовний навчальний корпус та виконано донавчання моделі GPT-Neo методом низькорангової адаптації (LoRA). Експериментально підтверджено, що донавчання знизило перплексію базової моделі та підвищило якість генерації за метриками BLEU та ROUGE. Розроблену систему можна використовувати для автоматизованого створення текстового контенту у вибраній предметній галузі.