Розробка інтелектуальної системи виявлення аномалій у даних на основі методів машинного навчання

Abstract

Об’єкт дослідження – процес виявлення аномалій у часових рядах. Предмет дослідження – методи виявлення аномалій у часових рядах із використанням алгоритмів машинного навчання та нейронних мереж. Мета роботи – розробка інтелектуальної системи виявлення аномалій у даних на основі методів машинного навчання. Методи дослідження – алгоритм Isolation Forest, моделі LSTM Autoencoder та Transformer Autoencoder, методи попередньої обробки та нормалізації даних, віконне представлення часових рядів, перцентильний підхід до визначення порогових значень, метрики оцінювання якості моделей (Window Recall, PR-AUC, кількість хибних спрацювань). У роботі розроблено інтелектуальну систему виявлення аномалій у часових рядах, що забезпечує автоматизовану обробку даних, навчання моделей, оцінювання результатів та візуалізацію виявлених аномалій. Проведено порівняльний аналіз трьох підходів до виявлення аномалій: Isolation Forest, LSTM Autoencoder та Transformer Autoencoder. Досліджено вплив набору ознак, довжини часового вікна та значення перцентильного порогу на якість виявлення аномалій. Для перевірки працездатності розробленої системи проведено експериментальні дослідження на часових рядах набору даних NAB та виконано візуалізацію результатів виявлення аномалій.