Модель автоматизації збору даних з вебресурсів на основі генеративного штучного інтелекту

Abstract

Метою роботи є вдосконалення моделі автоматизованого вебскрапінгу через інтеграцію сучасних технологій штучного інтелекту та оптимізацію архітектури. Особливу увагу слід приділити адаптивності системи до змін вебресурсів, масштабованості обчислювальних процесів та підвищенню продуктивності за рахунок використання розподілених обчислень. У ході виконання кваліфікаційної роботи було здійснено аналіз сучасних методів автоматизації збору даних із вебресурсів на основі генеративного штучного інтелекту, зокрема із застосуванням великих мовних моделей (LLM). Розглянуто переваги та недоліки традиційних вебскраперів, визначено основні критерії ефективності таких систем: адаптивність до змін структури вебсторінок, гнучкість, стабільність, продуктивність та зручність обслуговування. Було запропоновано розширену модель, яка передбачає багаторівневу взаємодію між окремими модулями. За результатами дослідження проведено порівняння запропонованої моделі з існуючими підходами та підтверджено, що інтеграція LLM забезпечує високу точність збору інформації, знижує потребу в ручному налаштуванні та покращує адаптивність до швидкозмінних вебсередовищ. Результати дослідження візуалізовано графічно та сформовано практичні рекомендації щодо використання запропонованої моделі в аналітичних проєктах, які працюють з великими обсягами вебданих.