Автоматизований аналіз якості даних на основі штучного інтелекту

Abstract

Об’єктом дослідження є процес автоматизованого дослідницького аналізу та оцінювання якості табличних наборів даних. Предметом дослідження є алгоритми машинного та глибокого навчання, статистичні методи виявлення проблем якості даних (аномалій, дублікатів, відсутніх значень), а також застосування локальних великих мовних моделей для генерації семантичних пояснень. Метою роботи є розробка програмної системи для автоматизованого комплексного аналізу якості даних, яка інтегрує передові методи штучного інтелекту для діагностики табличних наборів даних та формування аналітичних звітів. Методами дослідження є описова статистика, методи ансамблевого та глибокого навчання, алгоритми на основі локально-чутливого хешування, а також методи квантування великих мовних моделей. Результати роботи можуть бути використані для автоматизації процесів підготовки даних у машинному навчанні та підвищення продуктивності роботи Data Science фахівців, зокрема для комплексного автоматизованого аналізу якості табличних наборів даних. Сфера застосування включає конвеєри машинного навчання, корпоративні системи управління даними та інтелектуальні платформи аналітики.