Обучение и самоорганизация диофантовых и сплайновых нейронных сетей

Гетерогенные ПНС с целочисленными синаптическими параметрами называются диофантовыми НС [18, 101]. Примерами диофантовых НС с самоорганизующейся архитектурой могут служить гетерогенные ПНС, предложенные в работах [18, 99, 101].

Рассмотрим другой класс диофантовых НС. Гетерогенность их архитектуры определяется использованием слоёв, состоящих из полиномиальных или сплайновых НЭ.

Первый слой диофантовой НС состоит из пороговых НЭ. Выходом первого слоя НЭ является двоичный образ (описание) x(w) объекта w.

НЭ второго слоя кодируют двоичные образы x(w) натуральными числами вида

(11.14)

Для упрощения алгоритмов обучения и самоорганизации гетерогенной архитектуры диофантовой НС построим НЭ третьего слоя в виде ортогональных полиномов (одночленов) вида

(11.15)

Другие способы построения НЭ третьего слоя предложены в [101].

Четвёртый слой гетерогенной диофантовой НС состоит из “решающих” пороговых НЭ с синаптическими параметрами, настраиваемыми по ОБД (11.7) согласно быстрым алгоритмам обучения, предложенным в [18, 101].

Описанные диофантовые НС целесообразно применять на сравнительно коротких ОБД вида (11.7). Чтобы снять это ограничение, рассмотрим гетерогенные сплайновые НС.

Сплайновые НС основаны на кусочно-полиномиальной или сплайновой аппроксимации решающих (идентифицирующих) функций вида (11.8). Идея состоит в синтезе НЭ по ОБД (11.7) в виде независимых друг от друга полиномов или сплайнов на каждой паре натуральных чисел и их коммутации по определённым правилам в четвёртом слое НС, состоящем из пороговых НЭ с настраиваемыми по ОБД синаптическими параметрами [101].

Синтезированные диофантовые и сплайновые НС имеют четырёхслойную гетерогенную архитектуру, описываемую суперпозицией параллельных преобразований в каждом слое НЭ.

Самоорганизация и минимизация сложности гетерогенной архитектуры таких НС обеспечиваются самонастройкой полиномиальных и сплайновых НЭ второго и третьего слоёв (например, вида (11.10) и (11.11)) и быстрыми алгоритмами обучения пороговых НЭ четвёртого слоя, требующими только однократного использования ОБД, т.е. r £ m.

При распознавании образов и диагностике состояний принятие решений с помощью описанных диофантовой или сплайновой ПНС осуществляется за 4 такта параллельных вычислений в каждом слое НЭ независимо от размерности задачи D = n ´ m ´ K.

Гетерогенность архитектуры диофантовых и сплайновых НС определяется тем, что первый и четвертый слой состоят из пороговых НЭ, а второй и третий слои включают полиномиальные или сплайновые НЭ.