Вебсервіс інтелектуального пошуку схожих вакансій

Abstract

Об'єкт дослідження – процес інтелектуального пошуку семантично схожих вакансій у великих корпусах текстових даних. Предмет дослідження – методи векторного представлення текстів та алгоритми визначення семантичної подібності, застосовані до задачі пошуку вакансій. Мета роботи – проєктування та реалізація вебсервісу інтелектуального пошуку семантично схожих вакансій на основі моделі SBERT та векторної бази даних з розширенням pgvector. Методи дослідження – обробка природної мови, векторне представлення текстів, косинусна подібність, наближений пошук найближчих сусідів, порівняльний аналіз методів. Розроблено триланкову клієнт-серверну систему на FastAPI, ASP.NET Core і React. Реалізовано конвеєр підготовки та векторизації корпусу з 124 230 вакансій на основі моделі SBERT all-MiniLM-L6-v2. Векторні представлення розмірністю 384 збережено у PostgreSQL з розширенням pgvector та індексом HNSW, що забезпечує логарифмічну складність пошуку. Проведено порівняння семантичного підходу з класичним TF-IDF, яке підтвердило якісну перевагу SBERT у знаходженні релевантних вакансій за синонімічними та короткими запитами. Результати тестування на реальному корпусі даних підтвердили виконання усіх поставлених вимог до системи