Параллелизм и самоорганизация порогово-полиномиальной нейронной сети

Архитектура ПНС гетерогенна и представляет собой иерархическую последовательность нескольких однородных слоёв (непересекающихся подмножеств) параллельно работающих нейроэлементов (НЭ) различных типов. В различных слоях гетерогенной ПНС могут использоваться разные НЭ, но каждый слой (подмножество НЭ) является однородным (гомогенным). При этом обработка информации в каждом слое НЭ осуществляется параллельно.

Каналы связи между предыдущим и последующим слоями гетерогенной ПНС являются однонаправленными (односторонними) и имеют регулируемые веса (синаптические параметры). Эти веса каналов связи настраиваются в процессе обучения и самоорганизации архитектуры ПНС по имеющимся экспериментальным данным или прецедентам вида (11.7), называемым обучающей базой данных (ОБД).

Опишем формально гетерогенную архитектуру трёхслойной порогово-полиномиальной нейронной сети (ППНС) и рассмотрим принципы её самоорганизации [17, 18, 37, 55].

Первый слой ППНС состоит из n пороговых нейроэлементов (НЭ), на вход которых параллельно поступают сигналы y₁ (w), …, y_p (w), характеризующие различные свойства объекта w, а на выходе формируется вектор двоичных сигналов (бинарный код) х(w)= , где x_i = x_i (y₁, …y_p). Этот бинарный код является выходом НЭ первого слоя ППНС.

На входы каждого “ассоциативного” НЭ второго слоя поступает вектор x (w) бинарных сигналов с “рецепторных” (кодирующих) пороговых НЭ первого слоя. Эти “ассоциативные” НЭ реализуют полиномиальные преобразования a_j (x) входных сигналов и называются П-нейронами или мультипликативными НЭ. Выходом второго слоя ППНС является вектор двоичных сигналов

.

Третий слой ППНС состоит из “решающих” пороговых НЭ, на вход которых поступает вектор выходных сигналов a_j (x) полиномиальных НЭ второго слоя. Затем эти сигналы умножаются на синаптические веса u_j, суммируются и преобразуются в выходные сигналы НЭ третьего слоя в виде суперпозиций функций

(11.12)

где –настраиваемые синаптические параметры, а К - число непересекающихся классов (образов).

Каждая решающая (идентифицирующая) функция R _k (w) вида (11.8) является характеристической функцией k-го класса. Поэтому она отделяет объекты k-го класса от остальных. Множество таких идентифицирующих функций глобально (коллективно) решает задачу классификации образов.

Принцип самоорганизации ППНС с гетерогенной архитектурой заключается в построении “ассоциативных” полиномов a_j (x) непосредственно по обучающей базе данных (ОБД) (11.7) в виде одночленов

(11.13)

Здесь m – число элементов (мощность) ОБД, определяющее оценку сверху на число N необходимых полиномиальных НЭ второго слоя ППНС, т.е. m ³ N ³ K.

Чтобы минимизировать сложность ППНС, нужно найти в идентифицирующих функциях вида (11.8) векторы синаптических параметров с максимальным числом нулевых компонент. Это приводит к автоматической ликвидации неинформативных (избыточных) синаптических связей в гетерогенной ППНС без потери точности принимаемых решений на ОБД.

Быстрые рекуррентные алгоритмы обучения и минимизации сложности гетерогенной ППНС были предложены в [17, 18, 37, 103]. Они осуществляют отображение ОБД вида (11.7) на множество синаптических параметров пороговых НЭ третьего слоя ППНС, причём число шагов алгоритма обучения r £ m.

Степень параллелизма при распознавании и идентификации образов определяется тем, что принятие решений осуществляется ППНС за 3 такта одновременных вычислений в каждом слое НЭ независимо от размерности решаемой задачи D= n ´ m ´ K.

Самоорганизация ППНС обеспечивается тем, что НЭ второго слоя формируются согласно (11.9) непосредственно по ОБД (11.7).

Гетерогенность архитектуры ППНС определяется тем, что первый и третий слой состоят из пороговых НЭ, а второй слой – только из полиномиальных НЭ.