Розроблення автоматизованого фреймворку оцінювання якості даних у конвеєрах машинного навчання

Abstract

Об'єктом роботи є процес автоматизованого контролю якості даних у системах машинного навчання. Метою роботи є розробка відкритого модульного Python-фреймворку для оцінки якості табличних даних у конвеєрах машинного навчання. Використано методи статистичного аналізу, машинного навчання без учителя (Isolation Forest, LOF), статистичні тести виявлення дрейфу (Колмогорова-Смирнова, хі-квадрат) та шаблони об'єктно-орієнтованого проєктування GoF. Розроблено фреймворк, який поєднує схемну валідацію, профілювання, обчислення шести вимірів якості, виявлення аномалій та дрейфу з генерацією HTML-звітів за єдиною YAML-конфігурацією. Це дозволяє запобігати деградації моделей та інтегрувати контроль якості у CI/CD конвеєри. Область застосування: системи машинного навчання, конвеєри обробки даних (MLOps), автоматизація дата-інженерії.