Дослідження методів зберігання візуальних даних.

Abstract

Стаття присвячена дослідженню зберігання великих обсягів візуальних даних в програмних системах з використанням різних технологій та підходів до зберігання. В роботі проаналізовано актуальні методи зберігання даних, переваги та недоліки використання реляційних та нереляційних СКБД, наявних вбудованих технологій для роботи з даними великого розміру, MS SQL Server FILESTREAM, порівняно зі зберіганням цих даних в окремому сховищі. Для оцінки методів виконуюється бенчмаркінг (порівняння продуктивності) запису, читання та фільтрації даних різного розміру та обсягу та порівняння використання системних ресурсів. В теорії, використання FILESTREAM повинно було підвищити продуктивність роботи програмної системи, в той час, як за результатами дослідження при великих навантаженнях воно збільшило час запису на 110%, послідовного читання на 118% та час фільтрації на 32%, порівняно зі зберіганням зображень напряму в базі даних. Зберігання файлів напряму в базі даних підвищило фрагментацію даних та знизило ефективність індексів, що негативно вплинуло на масштабованість програмної системи та результати експериментів з великим обсягом даних. Гібридні підходи показали найкращий результат; серед них Microsoft SQL Server в середньому в 1.95 рази швидший за MongoDB, при цьому MongoDB показав меншу втрату продуктивності для запису та фільтрації з велики обсягом даних. The article is dedicated to the study of the efficiency of various technologies and storage approaches for large volumes of visual data. Through the research, the modem data storage methods were analysed, along with the advantages and disadvantages of using relational and non-relational databases, available built-in technologies for working with larger files, such as MS SQL Server FILESTREAM, compared to storing this data in separate storage. Writing, reading and filtering benchmarks were performed with data of different sizes and volumes to determine the performance, as well as the efficiency of system resources usage. FILESTREAM was supposed to increase the performance of the system, but based on the research results, storing laige-sized data increased write time by 110%, sequential read time by 118% and filtering time by 32%, compared to storing images in the database. Direct image storage in the database increased data fragmentation and reduced index efficiency, which ended up lowering system scalability and increasing experiment runtime under high load. Hybrid methods of data storage showed the best results. DBMS Microsoft SQL Server was 1.95 times on average faster than MongoDB, even though MongoDB showed less performance loss for the data writing and filtering.