Персептрон

Персептрон – однослойная нейронная сеть, при этом каждый персептронный нейрон в качестве активационной функции использует функцию единичного скачка.

Рис. 10. Однонейронный персептрон с n входами.

АЛГОРИТМ ОБУЧЕНИЯ ОДНОНЕЙРОННОГО ПЕРСЕПТРОНА

Шаг 0. Проинициализировать весовые коэффициенты wi, i= 0, 1, …, n, небольшими случайными значениями (например, из диапазона [–0.3, 0.3])

Шаг 1. Подать на вход персептрона один из обучающих векторов и вычислить его выход.

Шаг 2. Если выход правильный, перейти на шаг 4. Иначе вычислить ошибку – разницу между верным значением и полученным значением выхода.

Шаг 3. Модифицируются весовые коэффициенты:

Шаг 4. Шаги 1-3 повторяются для всех обучающих векторов.

АЛГОРИТМ ОБУЧЕНИЯ СЕТИ, ВКЛЮЧАЮЩЕЙ n ПЕРСЕПТРОНОВ

Шаг 0. Проинициализировать элементы весовой матрицы W небольшими случайными значениями.

Шаг 1. Подать на входы один из входных векторов и вычислить его выход.

Шаг 2. Если выход правильный, перейти на шаг 4. Иначе вычислить ошибку – разницу между верным значением и полученным значением выхода.

Шаг 3. Модифицируются весовые коэффициенты:

Шаг 4. Шаги 1-3 повторяются для всех обучающих векторов.

Сеть обратного распространения

Нейронные сети обратного распространения — это современный ин­струмент поиска закономерностей, прогнозирования, качественного анализа. Такое название — сети обратного распространения — они получили из-за исполь­зуемого алгоритма обучения, в котором ошибка распространяется от вы­ходного слоя к входному, т. е. в направлении, противоположном направ­лению распространения сигнала при нормальном функционировании сети.

Нейронная сеть обратного распространения состоит из нескольких слоев нейронов, причем каждый нейрон предыдущего слоя связан с каждым нейроном последующего слоя. В большинстве практических приложе­ний оказывается достаточно рассмотрения двухслойной нейронной сети, имеющей входной (скрытый) слой нейронов и выходной слой.

Сеть Кохонена. Классификация образов

Задача классификации заключается в разбиении объектов на клас­сы, причем основой разбиения служит вектор параметров объекта. Часто бывает так, что сами классы заранее неизвестны, и их приходится фор­мировать динамически. Назовем прототипом класса объект, наиболее ти­пичный для своего класса. Один из самых простых подходов к классифи­кации состоит в том, чтобы предположить существование определенного числа классов и произвольным образом выбрать координаты прототипов. Затем каждый вектор из набора данных связывается с ближайшим к нему прототипом, и новыми прототипами становятся центроиды всех векто­ров, связанных с исходным прототипом.

На этих принципах основано функционирование сети Кохонена, обычно используемой для решения задач классификации. Данная сеть обучается без учителя на основе самоорганизации. По мере обучения векторы весов нейронов становятся прототипами классов — групп век­торов обучающей выборки. На этапе решения информационных задач сеть относит новый предъявленный образ к одному из сформированных классов.

Рассмотрим архитектуру сети Кохонена и правила обучения подроб­нее. Сеть Кохонена состоит из одного слоя нейронов. Число входов каждого нейрона п равно размерности вектора параметров объекта. Ко­личество нейронов т совпадает с требуемым числом классов, на которые нужно разбить объекты (меняя число нейронов, можно динамически менять число классов).

Обучение начинается с задания небольших случайных значений эле­ментам весовой матрицы W. В дальнейшем происходит процесс само­организации, состоящий в модификации весов при предъявлении на вход векторов обучающей выборки. Каждый столбец весовой матрицы представляет собой параметры соответствующего нейрона-классификато­ра. Для каждого у'-го нейрона (/= \, 2, т) определяется расстояние от него до входного вектора X

Далее выбирается нейрон с номером к, 1< £ < т, для которого это расстояние минимально (т. е. сеть отнесла входной вектор к классу с номером к). На текущем шаге обучения N будут модифицироваться только веса нейронов из окрестности нейрона к

Первоначально в окрестности любого из нейронов находятся все нейроны сети, но с каждым шагом эта окрестность сужается. В конце этапа обучения подстраиваются только веса нейрона с номером к. Темп обучения a_N с течением времени также уменьшается (часто полагают а₀ = 0, 9, a_N+] = a_N — 0, 001). Образы обучающей выборки предъявляются последовательно, и каждый раз происходит подстройка весов.

Нейроны Гроссберга.Входные и выходные звезды

Входная звезда Гроссберга (S. Grossberg) [45, 46], как показано на рис. 6.14, состоит из нейро­на, на который подается группа входов, умноженных на синапсические веса.

Двухслойная сеть встречного распространения

Сеть встречного распространения состоит из двух слоев: слоя нейронов Кохонена и слоя нейронов Гроссберга. Автор сети Р. Хехт-Нильсен удачно объединил эти две архитекту­ры, в результате чего сеть приобрела свойства, которых не было у каждой из них в отдельности.

Слой Кохонена классифицирует входные векторы в группы схожих. Это достигается с помощью такой подстройки весов слоя Кохонена, что близкие входные векторы активируют один и тот же нейрон данного слоя. Затем слой Гроссберга дает требуемые выходы.

На рис. 6.16 показана сеть встречного распространения полностью.

В режиме нормального функционирования предъявляются входные век­торы X и Y, и обученная сеть дает на выходе векторы X' и Y', являющиеся аппроксимациями соответственно для X и Y. Векторы X, Y предполагаются здесь нормированными векторами единичной длины, следовательно, по­рождаемые на выходе векторы также должны быть нормированными.

В результате получается отображение, при котором предъявление пары входных векто­ров порождает их копии на выходе. Это не было бы особенно интересным, если не учитывать способность этой сети к обобщению. Благодаря обобщению предъявление только вектора X (с вектором Y, равным нулю) порождает как вы­ходы X', так и выходы Y'. Если F — функция, отображающая X в К', то сеть аппроксимирует ее. Кроме того, если функция F обратима, то предъяв­ление только вектора Y (при нулевом векторе X) порождает выходы X'.

Уникальная способность порождать функцию и обратную к ней де­лает сеть встречного распространения полезной в ряде приложений. На­пример, в задаче аппроксимации многомерной векторной функции сеть обучается на известных значениях этой функции.

Сеть Хопфилда

Нейросетевые архитектуры получили всеобщее признание во многом благодаря исследованиям Джона Хопфилда, физика из Калифор­нийского технологического института. Он изучал свойства сходимости сетей на основе принципа минимизации энергии, а также разработал на основе этого принципа семейство нейросетевых архитектур.

Сеть Хопфилда нашла широкое применение в системах ассоциатив­ной памяти, позволяющих восстанавливать идеальный образ по имею­щейся неполной или зашумленной его версии

В качестве примера рассмотрим сеть, состоящую из 70 нейронов, упорядоченных в матрицу 10x7.

Сеть обучалась по правилу Хебба на трех идеальных образах — шриф­товых начертаниях латинских букв А, В и С (рис. 6.21). Темные ячейки соответствуют нейронам в состоянии +1, светлые -1.

После обучения нейросети в качестве начальных состояний ней­ронов предъявлялись различные искаженные версии образов, которые в процессе функционирования сети сходились к стационарным состо­яниям. Для каждой пары изображений на рис. 6.24 левый образ является начальным состоянием, а правый — результатом работы сети — достигнутым стационарным состоянием.

Опыт практического применения сетей Хопфилда показывает, что эти нейросетевые системы способны распознавать практически полностью зашумленные образы и могут ассоциативно узнавать образ по его неболь­шому фрагменту. Однако особенностью работы данной сети является возможная генерация ложных образов. Ложный образ является устой­чивым локальным минимумом функции энергии, но не соответствует никакому идеальному образу. На рис. 6.24 показано, что сеть не смогла различить, какому из идеальных образов (В или С) соответствует подан­ное на вход зашумленное изображение и выдала в качестве результата нечто собирательное.

Если обученная сеть на этапе тестирования сошлась к ложному обра­зу, то ее весовые коэффи­циенты пересчитываются/ что гарантирует незначительное ухудшение полезной памяти. После нескольких проце­дур разобучения свойства сети улучшаются. Это объясняется тем, что состояниям ложной памяти соответствуют гораздо более «мелкие» энергетические минимумы, чем состояниям, соответствующим запоминаемым образам.

Другим существенным недостатком се­тей Хопфилда является небольшая емкость памяти. Многочисленные исследования по­казывают, что нейронная сеть, обученная по правилу Хебба, может в среднем, при разме­рах сети п, хранить не более чем 0, 14м раз­личных образов. Для некоторого увеличения емкости памяти сети используется специаль­ный алгоритм ортогонализации образов.

Сеть ДАЛ(двунаправленная ассоциативная память)

Сеть Хопфилда реализует так называемую автоассоциативную память. Это означает, что образ может быть завершен или исправлен, но не может быть ассоциирован с другим образом. Двунаправленная ассоциативная память (ДАП), разработанная в 1988 году Бертом Коско (В. Kosko) [53], является гетероассоциативной: она сохраняет пары обра­зов и выдает второй образец пары, когда ассоциированный с ним первый образец подается на вход сети. Как и сеть Хопфилда, сеть ДАП способна к обобщению, вырабатывая правильные реакции, несмотря на искажен­ные входы. Сеть ДАП (рис. 6.25) содержит два слоя нейронов.