Розробка системи динамічної оптимізації обсягів збереження даних у Data Lake на основі класифікації корисності даних - Мітрошкіна, К. В. (My University, 2025)
Об’єкт дослідження – система управління обсягами даних у хмарному сховищі типу Data Lake. Предмет дослідження – методи динамічної оптимізації зберігання даних на основі класифікації їх корисності. Мета роботи – розробити систему автоматизованого управління обсягами збереження даних у Data Lake, яка дозволяє знижувати витрати на інфраструктуру за рахунок аналізу й класифікації корисності даних з використанням машинного навчання. Методи дослідження – аналіз літератури та сучасних підходів до зберігання даних у хмарних середовищах, моделювання, машинне навчання, побудова архітектури програмної системи, реалізація прототипу на основі Python та Apache Spark. У результаті роботи здійснено аналіз проблем надмірного зберігання даних у Data Lake, побудовано модель корисності даних на основі доступу, частоти використання та джерела надходження. Розроблено систему, що включає модуль класифікації даних, модуль моніторингу доступу та модуль застосування політик зберігання. Система протестована на реальних обсягах симульованих даних, що дозволило досягти зменшення витрат на зберігання до 38% без втрати критично важливої інформації. Виявлено обмеження поточної моделі та запропоновано шляхи подальшої оптимізації.
Keywords: архівація; життєвий цикл даних; хмарні технології; життєвий цикл даних; класифікація корисності; контроль доступу; оптимізація зберігання; політики зберігання