УДК 004.032.26 Бодянский Е.В., Дейнеко А.А., Стольникова М.З. Харьковский национальный университет радиоэлектроники, Харьков АДАПТИВНОЕ ОБУЧЕНИЕ ВСЕХ ПАРАМЕТРОВ ЭВОЛЮЦИОНИРУЮЩЕЙ РАДИАЛЬНО-БАЗИСНОЙ НЕЙРОННОЙ СЕТИ Предложены архитектура и метод обучения искусственной эволюционной радиально-базисной нейронной сети, которая настраивает не только свои веса, но и автоматически определяет количество нейронов, расположение центров радиально-базисных функций и параметров рецепторного поля в on-line режиме с высокой скоростью поступления и обработки данных. Ключевые слова: искусственная нейронная сеть, адаптивное обучение, радиально-базисная нейронная сеть, самоорганизующаяся карта Т.Кохонена, активационная функция В.Епанечникова Введение В настоящее время искусственные нейронные сети (ИНС) получили широкое распространение для решения широкого класса задач обработки информации, и, прежде всего, интеллектуального управления, идентификации, распознавания образов, классификации, кластеризации, прогнозирования, эмуляции в условиях неопределенности и существенной нелинейности. В случае необходимости обработки информации в on-line режиме по мере последовательного поступления на вход новых данных, на первый план выходит вопрос скорости сходимости процесса обучения, существенно ограничивающий класс ИНС, пригодных для работы в этом режиме. С точки зрения оптимизации по скорости процесса обучения весьма перспективными являются ИНС, основанные на ядерных (радиально-базисных, потенциальных, колоколообразных) функциях активации. Наиболее популярными из перечисленных ИНС являются радиально-базисные нейронные сети (Radial Basis Function Neural Networks – RBFN). Основные идеи радиально-базисных нейронных сетей связаны с методом потенциальных функций [1], оценками Парзена [2, 3], ядерной [4] и непараметрической [5] регрессиями. Важной особенностью этих сетей является то, что они обладают универсальными аппроксимирующими свойствами и способны обучаться в реальном времени. Основным недостатком радиально-базисной сети является ее подверженность «проклятию размерности», порождающему экспоненциальный рост числа радиально-базисных нейронов (R-нейронов) с ростом размерности входного пространства, в связи с чем, в настоящей работе предлагается подход к обучению RBFN с ограничением количества нейронов в on-line режиме обработки информации. Радиально-базисная нейронная сеть На рис. 1 приведена стандартная архитектура радиально-базисной сети, скрытый слой которой реализует некоторое нелинейное преобразование пространства входов n R в скрытое пространство h R более высокой размерности ( ) hn > , а выходной слой, образованный адаптивным линейным ассоциатором, формирует отклик сети, осуществляя нелинейное преобразование вида ( ) ( ) ( ) ( ) ( ) ( ) ( ) h R 0ll l1 h T ll l0 ˆ ykwwxk wxkwxk, å å = = =+j= =j=j % где ( ) ( ) ( ) ( ) ( ) T 12n xkxk,xk,...,xk, = ( ) ( ) ( ) ( ) llll xkxkc, j=j-s- радиально-базисные функции, зависящие от расстояния ( ) l xkc - между вектором входов ( ) xk и центром функции l c и параметром ширины l s , k - текущее дискретное время, ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( T T 1 xk1,xk,xkxk, j=jj=j % ( ) ( ) ( ) ( ) ) T 2h ,xk,...,xk jj . 1 x 2 x n x M M 1 w 2 w h w M + + + + S 3 w 0 w + 1 0 º x 1 j 2 j 3 j h j ) ( x F y = ( ) R ˆ yFx = Рис. 1 – Радиально-базисная нейронная сеть В качестве активационных функций радиально-базисных ИНС наиболее часто используется стандартный гауссиан ( ) ( ) ( ) 2 l l 2 l xkc yxkexp, æö - ç÷ =- ç÷ s èø l1,2,...,h, = (1) при этом параметры центров l c и ширин l s , как правило, задаются заранее и не настраиваются в процессе обучения. Само же обучение сводится к настройке вектора синаптических весов ( ) T 01h ww,w,...,w, = для чего обычно используются различные модификации метода наименьших квадратов. Улучшить аппроксимирующие свойства сети можно, используя вместо гауссиана (1) многомерную конструкцию ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 l T 1 llll 2 l yxkexpxkcxkc expxkc, - - S =--S-= =-- (2) где ковариационная матрица l S определяет форму, размер и ориентацию рецепторного поля l - той радиально-базисной функции. При 2 ll I S=s (здесь ( ) Inn -´- единичная матрица) рецепторное поле представляет собой гиперсферу с центром l c и радиусом l s ;при ( ) 222 l12n diag,,..., S=sss- это гиперэллипсоид, чьи оси совпадают с осями входного пространства и имеют длину i s по i - ой оси, и, наконец, при l S - произвольной положительно определенной матрице T llll QQ S=L диагональная матрица собственных значений l L определяет размер рецепторного поля, а ортогональная матрица вращения l Q - его ориентацию. Говоря об обучении радиально-базисной ИНС, следует заметить, что настраиваться могут не только вектор синаптических весов w , но и центры l c и матрицы l S . Так, вводя преобразование, реализуемое нейронной сетью, в виде ( ) ( ) ( ) 1 l 2 h R lll l0 ˆ ykwxkc, å - S = =j- критерий обучения ( ) ( ) ( ) ( ) ( ) 1 l 2 2 h 2 lll l0 11 Ekekykwxkc 22 å - S = æö ==-j- ç÷ èø (здесь ( ) yk - внешний обучающий сигнал) и производные по всем настраиваемым параметрам ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 l 1 l l 1 l 2 ll l 2 clll 1 ll 2 lll 1 l T ll Ek ekxkc, w Ek2ekwxkc xkc, Ek ekwxkc xkcxkc, - - - S S - - S ¶ ì =-j- ï ¶ ï ï æö ¢ ï Ñ=j-´ ç÷ ï èø ï ´S- í ï ìü ¶ ï æö ïï ¢ =-j-´ íý ç÷ ï èø ¶S ïï îþ ï ï ´-- ï î (3) можно записать алгоритм обучения [6]: ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 l 1 l 1 l llw 2 ll k llc 2 lll k 1 ll 11 ll 2 lll k T ll wk1wkk1ek1 xk1ck, ck1ckk1ek1 wk1xk1ck kxk1ck, k1kk1ek wk1xk1ck1 xk1ck1xk1ck1, - - - S S - -- S S ì+=+h++´ ï æö ï ´j+- ç÷ ï èø ï +=-h++´ ï ï æö ¢ ´+j+-´ ï ç÷ ï èø í ´S+- ï ï ï S+=S+h+´ æö ¢ ´+j+-+´ ç÷ èø ´+-++-+ î ï ï ï ï ï (6) (4) где ( ) ( ) ( ) wc k1,k1,k1 S h+h+h+- параметры шага обучения для соответствующих переменных. Использование в качестве активационных функций гауссианов (1) и (2) приводит к тому, что процедура обучения (4) становится слишком громоздкой с вычислительной точки зрения, что естественно замедляет скорость обучения. В связи с этим мы предлагаем ввести в рассмотрение многомерную модификацию функции В. Епанечникова [7] в виде ( ) ( ) ( ) ( ) ( ) 11 ll 22 lll xk1ck1xk1ck, -- SS j+-=-+- чьи производные имеют форму ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 l l 1 l 2 1 cllll 2 ll T ll 1 l xkc2xkc, xkc xkcxkc. - - - S S - ì Ñj-=-S- ï ï ï ìü ¶j- í ïï ï =-- íý ï ¶S ïï ï îþ î (5) Соотношения (5) позволяют переписать систему (3) в виде ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 l 2 l l 1 clll T lll 1 l Ek ek1xkc w Ek2ekwxkc, Ek ekwxkcxkc, - S - - ì ¶ ï =--- ï ¶ ï ï Ñ=S- í ï ìü ¶ ï ïï =--- íý ï ¶S ïï ï îþ î а алгоритм обучения – ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 l llw 2 l k llc 1 lll 11 ll ll T l wk1wkk1 ek11xk1ck, ck1ckk1ek1 wk1kxk1ck, k1kk1ek1 wk1xk1ck1 xk1ck1. - S - -- S +=+h+´ ì ï æö ï ´+-+- ç÷ ï èø ï +=-h++´ ï ï ´+S+- í ï S+=S+h++´ ï ï ´++-+´ ï ï ï ´+-+ î (6) Несложно заметить, что процедура (6) с вычислительной точки зрения существенно проще алгоритма (4). Гибридная нейронная сеть и эволюция ее архитектуры Вопрос выбора количества нейронов в сети h и начального расположения центров l c чрезвычайно актуален. Простейшим вариантом решения этой проблемы является использование алгоритма Subtractive clustering [8], который достаточно эффективен при работе в пакетном режиме, но при этом требует выбора целого набора свободных параметров. Если решаемая задача связана с обработкой нестационарных процессов, то необходимо время от времени переинициализировать сеть. Dynamic Decay Adjustment (DDA), тоже является одним из возможных методов обучения радиально-базисных нейронных сетей [9]. Он относится к алгоритмам конструктивного обучения и работает достаточно быстро. Однако, при работе в on-line режиме при обработке нестационарных сигналов этот метод становятся неэффективным. Resource Allocation Network [10] использует комбинированное обучение, основанное как на оптимизации, так и на памяти (принцип «нейроны в точках данных»), с использованием элементов конкуренции. При этом в процессе обучения с помощью градиентных процедур настраиваются как синаптические веса, так и параметры центров нейронов, ближайших к поступившему наблюдению. Можно заметить, что в качестве активационных, в этой сети вместо традиционных гауссианов используются стандартные функции Епанечникова. Недостатком Resource Allocation Network является высокая вычислительная сложность. В связи с этим представляется целесообразной разработка искусственной эволюционирующей радиально-базисной нейронной сети, которая сама настраивает не только все свои параметры, но и определяет автоматически количество нейронов в on-line режиме с высокой скоростью поступления и обработки данных. На рис. 2 приведена структурная схема гибридной эволюционной искусственной нейронной сети, основу которой составляет радиально-базисная нейронная сеть с переменным количеством нейронов и самоорганизующаяся карта Т. Кохонена (SOM) [11], которая управляет их количеством и подстраивает расположение центров в режиме самообучения. Рис. 2 – Структурная схема гибридной эволюционирующей сети. Процесс функционирования этой системы происходит следующим образом. При поступлении первого наблюдения ( ) x1 оно подается на вход радиально-базисной сети, где формируется первый нейрон по принципу «нейроны в точках данных», т.е. практически мгновенно. При последующем поступлении данных они сначала поступают в SOM, где происходит сравнение с уже существующими центроидами, а потом, если совпадений не обнаружилось, формируется новый центр радиально-базисной функции и соответственно и новый нейрон в RBFN. В рамках развиваемого подхода введем в рассмотрение следующий метод управления количеством нейронов в сети: Шаг 11: закодировать все значения входных переменных в интервал ( ) i 1xk1 -££ и задать радиус рецепторного поля функции соседства в интервале r0,33 £ ; Шаг 21 : при поступлении наблюдения ( ) x1 задать ( ) 1 cx1 = ; Шаг 31 : при поступлении наблюдения ( ) x2 : · если ( ) 1 x2cr -£ , то корректируется по правилу ( ) ( ) 1 1 cx2 c2; 2 + = · если ( ) ( ) 1 rx2c12r, <-£ ( ) 1 c1 корректируется согласно правилу самообучения самоорганизующейся карты Кохонена по принципу «победитель получает больше» (WTM) [11] ( ) ( ) ( ) ( ) ( ) ( ) ( ) 111 1 c2c122x2c1 =+hy- с функцией соседства ( ) ( ) ( ) 2 1 1 x2c1 2max0,1 2r ìü æö - ïï y=- ç÷ íý ç÷ ïï èø îþ (функция Епанечникова с рецепторным полем с радиусом ) · если ( ) ( ) 1 212 xcr -> , формируется новая радиально-базисная функция с центром ( ) ( ) 2 c2x2 = . На этом первая итерация формирования активационных функций радиально-базисной нейронной сети заканчивается. Пусть к му моменту времени сформировано ph £ активационных функций ( ) ( ) l xk j с центрами ( ) l ck и на обработку поступило наблюдение . Далее формирование радиально-базисных функций производится следующим образом: Шаг 1к+1: определить нейрон-победитель, для которого расстояние ( ) ( ) l xk1ck +- минимально среди всех ; Шаг 2к+1: - если ( ) ( ) l xk1ckr, +-£ то ( ) ( ) ( ) l l ckxk1 ck1 2 ++ += ; - если ( ) ( ) l rxk1ck2r, <+-£ то ( ) ( ) ( ) ( ) ( ) ( ) ( ) llll ck1ckk1k1xk1ck; +=+h+y++- ( ) ( ) ( ) 2 l l xk1ck k1max0,1; 2r ìü æö +- ïï y+=- ç÷ íý ç÷ ïï èø îþ · еслe ( ) ( ) l xk1ck2r +-> , то формируется радиально-базисная функция с центром ( ) ( ) p1 ck1xk1 + +=+ ; если же в процессе формирования радиально-базисных функций возникает ситуация ( ) ( ) l xk1ck2r +-> , а ph = , то необходимо увеличить радиус рецепторного поля и вернуться к шагу 2к+1 с увеличенным радиусом функции . Все последующие шаги реализуются аналогично [12. 13]. Как видно данная процедура есть гибрид эволюционного алгоритма Н. Касабова [14] и самоорганизующейся карты Т. Кохонена. Однако предложенная нейронная сеть разработана не только для решения задач кластеризации, но для управления количеством нейронов в радиально-базисной нейронной сети. Выводы Данный подход позволяет обеспечить высокое качество обработки информации на заданном количестве наблюдений в последовательном on-line режиме в условиях существенного дефицита априорной и текущей информации. Список литературы: 1. Айзерман М. А. Метод потенциальных функций в теории обучения машин. / Айзерман М. А., Браверман Э. М., Розоноэр Л. И. – М.: Наука, 1970. – 384 с. 2. Parzen E. On the estimation of a probability density function and the mode / Parzen E. // Ann. Math. Statist. – 1962. – 38. – P. 1065-1076. 3. Надарая Э. А. О непараметрических оценках плотности вероятности и регрессии / Надарая Э. А. // Теория вероятностей и ее применение. – 1965. – 10. – № 1. – С. 199-203. 4. Haykin S. Neural Networks. A Comprehensive Foundation./ Haykin S. // Upper Saddle River, N.J.: Prentice Hall, Inc., 1999. – 842 p. 5. Варядченко Т. В. Непараметрический метод обращения функций регрессии / Варядченко Т. В., Катковник В. Я. // Стохастические системы управления. – Новосибирск: Наука, 1979. – С. 4-14. 6. Бодянский Е.В. Нейро-фаззи сети Петри в задачах моделирования сложных систем / Бодянский Е.В., Кучеренко Е.И., Михалев А.И. – Днепропетровск: Системные технологии, 2005. – 311 с. 7. Епанечников В.А. Непараметрическая оценка многомерной плотности вероятности / Епанечников В.А. // Теория вероятностей и ее применение – 1968 – 14 – №1 – С. 156-161. 8. Chiu S. Fuzzy model identification based on cluster estimation / Chiu S. // Journal of intelligent & fuzzy systems. – Vol. 2 – №3 –Sept. 1994. 9. Paetz J Reducing the number of neurons in radial basis function networks with dynamic decay adjustment. / Paetz J. // Neurocomputing – №62 – 2004 – P. 79-91. 10. Platt J. A resource allocating network for function interpolation / Platt J.// Neural Comp. –1991 – 3– P. 213-225. 11. Kohonen T. Self-Organizing Maps / Kohonen T. – Berlin: Springer-Verlag. – 1995. – 362 p. 12. Бодянский Е.В. Адаптивное обучение архитектуры и параметров радиально-базисной нейронной сети / Бодянский Е.В., Дейнеко А.А. // Системные технологии. – Днепропетровск, 2013. – 4. – 87. – С. 166-173. 13. Бодянский Е.В. Эволюционирующая радиально-базисная нейронная сеть и ее обучение с помощью карты Кохонена / Бодянский Е.В., Дейнеко А.А. // Научно-техническая конференция: «Информационные технологии в металлургии и машиностроении.» – Днепропетровск, 2013. – С. 75-77. 14. Kasabov N. Evolving Connectionist Systems. / Kasabov N. // London: Springer – Verlag. – 2003 – 307p. Рецензент: д-р техн. наук, проф. В.А. Филатов, Харьковский национальный университет радиоэлектроники, Харьков. Автор: БОДЯНСКИЙ Евгений Владимирович Харьковский национальный университет радиоэлектроники, Харьков, доктор технических наук, профессор. Раб. тел. – 70-21-890, E-mail – bodya@kture.kharkov.ua. Автор: ДЕЙНЕКО Анастасия Александровна Харьковский национальный университет радиоэлектроники, Харьков, аспирантка кафедры ИИ. Раб. тел. – 050753-60-50, E-mail – anastasiya.deineko@gmail.com Автор: СТОЛЬНИКОВА Мирослава Захариевна Харьковский национальный университет радиоэлектроники, Харьков, студентка. УДК 004.032.26 Бодянский Е.В., Дейнеко А.А., Стольникова М.З. Адаптивное обучение всех параметров эволюционирующей радиально-базисной нейронной сети// Системы обработки информации. – 2013. – Вып. 00 (00). – С. 00 – 00. – Рус. В работе предложены архитектура и метод обучения искусственной эволюционной радиально-базисной нейронной сети, которая настраивает не только свои веса, но и автоматически определяет количество нейронов, расположение центров радиально-базисных функций и параметров рецепторного поля в on-line режиме с высокой скоростью поступления и обработки данных. Рис. 2. Библиогр. 14 назв. УДК 004.032.26 Бодянський Є.В., Дейнеко О.О., Стольнікова М.З. Адаптивне навчання всіх параметрів еволюційної радіально-базисної нейронної мережі// Системи обробки інформації. – 2013. – Вип. 00 (00). – С. 00 – 00. – Рос. В роботі запропоновані архітектура і метод навчання штучної еволюційної радіально-базисної нейронної мережі, яка налаштовує не тільки свої ваги, але і автоматично визначає кількість нейронів, розташування центрів радіально-базисних функцій та параметрів рецепторного поля в on-line режимі з високою швидкістю надходження і обробки даних. Іл.26. Бібліогр. 14 назв. UDC 004.032.26 Bodyanskiy E.V., Deineko A.A., Stolnikova M.Z All parameters of the evolving radial-basis neural function networks adaptive learning. // Sistemy obrobki informacii. – 2013. – Issue. 00 (00). – P. 00 – 00. – Rus. In this work the architecture and method of learning artificial evolving radial-basis function neural networks that adjusts not only their weight, but also automatically determines the number of neurons, the location of centers of radial basis functions and parameters of the receptive field in the on-line mode with high speed and operation-data is proposed. Fig. 2. Ref. 14. � EMBED Equation.DSMT4 ��� _1427139988.unknown _1427140044.unknown _1427141288.unknown _1427141402.unknown _1427141874.unknown _1427142150.unknown _1427142599.unknown _1427143821.unknown _1428659701.unknown _1427142640.unknown _1427142255.unknown _1427142409.unknown _1427142209.unknown _1427142051.unknown _1427142096.unknown _1427141944.unknown _1427141785.unknown _1427141827.unknown _1427141681.unknown _1427141737.unknown _1427141422.unknown _1427141349.unknown _1427141374.unknown _1427141386.unknown _1427141361.unknown _1427141310.unknown _1427141326.unknown _1427141298.unknown _1427141059.unknown _1427141180.unknown _1427141203.unknown _1427141122.unknown _1427140242.unknown _1427141026.unknown _1427140224.unknown _1427140018.unknown _1427140031.unknown _1427140037.unknown _1427140040.unknown _1427140034.unknown _1427140024.unknown _1427140027.unknown _1427140021.unknown _1427140004.unknown _1427140011.unknown _1427140014.unknown _1427140008.unknown _1427139994.unknown _1427139998.unknown _1427139991.unknown _1427139934.unknown _1427139963.unknown _1427139975.unknown _1427139982.unknown _1427139985.unknown _1427139979.unknown _1427139969.unknown _1427139972.unknown _1427139966.unknown _1427139950.unknown _1427139956.unknown _1427139960.unknown _1427139953.unknown _1427139940.unknown _1427139947.unknown _1427139937.unknown _1427139904.unknown _1427139917.unknown _1427139928.unknown _1427139931.unknown _1427139923.unknown _1427139910.unknown _1427139913.unknown _1427139907.unknown _1427139891.unknown _1427139897.unknown _1427139901.unknown _1427139894.unknown _1427139885.unknown _1427139888.unknown _1427139876.unknown _1427139883.unknown _1423557375.unknown