Дослідження методів налаштувань гіперпараметрів для реалізації алгоритму випадковий ліс на основі медичних та психологічних даних.

Abstract

Випадковий ліс є одним із найпоширеніших алгоритмів машинного навчання, що належить до методів ансамблевого навчання. Його застосовують у медицині, фінансах, соціальних науках, екології, ІТ та багатьох інших сферах. Сутність алгоритму полягає у створенні великої кількості дерев рішень і подальшому об’єднанні їхніх результатів для отримання точного та стабільного прогнозу. Попри численні переваги, випадковий ліс має й недоліки, зокрема низьку стійкість до різнорідності даних, що часто трапляється в медицині. У дослідженні алгоритм застосовується для аналізу медичних даних із психологічними показниками. Медичні дані мають порогові значення, які можуть давати неочікувані результати, тому оптимізація випадкового лісу залишається актуальною. Для аналізу альтернативних варіантів удосконалення обрано метод лінійної адитивної згортки. Він дозволяє обчислювати зважену суму нормалізованих показників, щоб порівнювати різні рішення. Цей метод є універсальним, простим у реалізації та придатним для задач із багатьма різнорідними критеріями. Досліджено способи оптимізації алгоритму випадковий ліс через налаштування гіперпараметрів. Розглянуто рандомізований пошук, пошук за сіткою та байєсівську оптимізацію. Проаналізовано їхні реалізації, особливості та можливі комбінації. На основі оцінки ефективності визначено, що для медичних і психологічних даних найкращим підходом є байєсівська оптимізація. Вона забезпечує більш точні та стабільні результати. Зрештою обрано найбільш оптимальний спосіб удосконалення алгоритму.

Random Forest is one of the most widely used machine learning algorithms and belongs to ensemble learning methods. It is applied in medicine, finance, social sciences, ecology, IT, and many other fields. The essence of the algorithm lies in creating a large number of decision trees and then combining their results to obtain a more accurate and stable prediction. Despite its numerous advantages, Random Forest also has drawbacks, including low robustness to heterogeneous data, which is common in medical datasets. In this study, the algorithm is used to analyze medical data with psychological indicators. Medical data contains threshold values that may produce unexpected results, which makes the optimization of Random Forest still relevant. To analyze alternative improvement options, the linear additive convolution method was chosen. It allows calculating a weighted sum of normalized indicators to compare different solutions. This method is universal, easy to implement, and suitable for problems involving many heterogeneous criteria. Various approaches to optimizing the Random Forest algorithm through hyperparameter tuning were examined. Random search, grid search, and Bayesian optimization were considered. Their implementations, characteristics, and possible combinations were analyzed. Based on the evaluation of effectiveness, Bayesian optimization was identified as the best approach for medical and psychological data. It provides more accurate and stable results. Ultimately, the most optimal method for improving the algorithm was selected.