Стохастична ініціалізація нейронних мереж на основі аналізу біологічних систем

Abstract

Штучні нейронні мережі, як правило, ініціалізуються за допомогою математично визначених методів, які не враховують структурного та функціонального різноманіття біологічних систем. Хоча традиційні підходи забезпечують стабільність навчання, вони ігнорують природні механізми формування синаптичних зв’язків. У цьому дослідженні запропоновано біологічно натхненний підхід до ініціалізації вагових коефіцієнтів, заснований на стохастичних закономірностях, виявлених в емпіричних траєкторіях руху, зафіксованих у контрольованому біологічному середовищі. Дані проходять попередню обробку, що включає згладжування, нормалізацію та масштабування, для генерації вагових значень, які надалі використовуються для ініціалізації нейронної мережі. Ефективність запропонованого методу оцінюється у порівнянні зі стандартними стратегіями ініціалізації на основі трьох тестових наборів даних: MNIST, Fashion-MNIST і Gas Sensor Array Drift. Експериментальні результати демонструють, що біологічно натхненний підхід забезпечує порівнянну ефективність за всіма оціночними критеріями, включаючи точність на тестовій і валідаційній вибірках, кількість епох до збіжності, чутливість за класами та макроусереднений показник Fl-метрики. У ряді випадків метод сприяв швидшій збіжності без зниження якості класифікації. Попри те, що запропонована стратегія не завжди перевершує стандартні методи, вона вводить структуровану стохастичність у процес навчання, спираючись на біологічні принципи, та формує перспективне підґрунтя для подальших досліджень у сфері складніших архітектур і біологічно натхненних моделей навчання.

Artificial neural networks are typically initialized using mathematically defined methods that do not account for the structural and functional diversity of biological systems. While traditional approaches ensure training stability, they overlook natural mechanisms of synaptic connection formation. This study proposes a biologically inspired approach to weight initialization based on stochastic patterns identified in empirical movement trajectories recorded in a controlled biological environment. The data undergo preprocessing, including smoothing, normalization, and scaling, to generate weight values subsequently used for neural network initialization. The effectiveness of the proposed method is evaluated against standard initialization strategies using three benchmark datasets: MNIST, Fashion-MNIST, and the Gas Sensor Array Drift dataset. Experimental results demonstrate that the biologically inspired approach achieves comparable performance across all evaluation criteria, including test and validation accuracy, the number of epochs required for convergence, class-wise sensitivity, and the macro-averaged Fl-score. In several cases, the method facilitates faster convergence without compromising classification accuracy. Although the proposed strategy does not consistently outperform conventional methods, it introduces structured stochasticity into the training process based on biological principles and provides a promising foundation for further research into more complex architectures and biologically inspired learning models.