Дослідження та порівняння методів екстракції даних з неструктурованих текстових документів на основі NLP-моделей

Abstract

Об’єкт дослідження – процес екстракції даних з неструктурованих текстових документів. Предмет дослідження – методи екстракції даних з текстових документів на основі NLP-моделей. Мета роботи – дослідження та порівняння методів екстракції даних з неструктурованих текстових документів на основі NLP-моделей. Методи дослідження – методи обробки природної мови, розпізнавання іменованих сутностей, rule-based підхід, моделі машинного навчання та трансформерні моделі (spaCy, BERT, DistilBERT), методи оцінювання якості (precision, recall, F1-score). У роботі досліджено та порівняно методи екстракції даних з неструктурованих текстових документів на основі NLP-моделей на прикладі текстових резюме. Реалізовано rule-based підхід, модель на основі spaCy, трансформерні моделі DistilBERT та BERT-base-cased, а також гібридний підхід. Проведено експериментальне оцінювання ефективності методів із використанням метрик якості та виконано їх порівняльний аналіз. Результати дослідження показали доцільність використання комбінованих підходів для підвищення якості екстракції інформації.