Модели ассоциативной памяти. Сети Хопфилда

В нейронных сетях с обратной связью допускается передача выходных сигналов нейронов на входные нейроны сети. Это приводит к переходным процессам в сети, после которого сеть может устанавливаться в некоторое устойчивое состояние. Однако, возможна ситуация, при которой в сети никогда не наступит ситуация равновесия. В этом случае сеть является неустойчивой.

Будем рассматривать сети с обратными связями, устойчивость которых при определенных условиях может быть доказано. К таким сетям относится сеть Хопфилда.

Рисунок 31 Модель ассоциативной памяти

, где - синоптическая карта сети.

Сеть Хопфилда рассматривается как примитивная модель ассоциативной памяти, позволяющая по искаженному входному образу извлечь ближайший к нему эталонный. Для этого сеть предварительно должна быть обучена на выборке. Обучение осуществляется без учителя путем предъявления сети серии входных образов . Предъявляемые образы запоминаются в синоптической карте, которая формируется следующим образом.

Синоптические веса формируются путем вычисления корреляций между состояниями отдельных нейронов. Такое задание весов позволяет сети запомнить входные образы и обеспечить в дальнейшем возможность извлечения неполных или искаженных данных.

В процессе функционирования нейронной сети сеть активируется некоторым входным образом, а затем сети представляется возможность опуститься в ближайший энергетический минимум. Алгоритм функционирования сети Хопфилда можно представить состоящим из следующих шагов.

1. Формирование синоптической карты сети путем ее обучения на серии входных образов;

2. Начальная активация сети входным образом C;

3. Итерационное вычисление выходного сигнала сети, пока сеть не достигнет установившегося состояния;

Пример:

- исходный эталон

Емкость сети - образов.

Сеть Хопфилда является ассоциативной сетью, в которой входные образы ассоциируются сами с собой и не могут быть ассоциированы с другими образами.

Рассмотрим нейронную сеть, состоящую из двух слоев нейронов, называемой двунаправленной ассоциативной памятью.

Рисунок 32 Двунаправленная ассоциативная память

, где - входные образы, .

В данной сети в качестве функции активации нейронов используется ступенчатая пороговая функция. В?? обучения сети предъявляются примеры , где и формируется синоптическая карта. В соответствии со структурой сети, прямым связям (от слоя к ) соответствует синоптическая карта W, а обратным - .

Функционирование сети осуществляется следующим образом:

1. Активация слоя сети входным образом С;

2. Вычисление сигналов на выходах нейронов слоя согласно выражению: или ;

3. Подача на входы нейронов сигналов с выходов по обратным связям и вычисление новых состояний нейронов слоя

4. Повторение шагов 2, 3 пока сеть не достигнет стабильного состояния;

Двунаправленная ассоциативная память обладает способностью к исправлению и обобщению. Если искаженный и незавершенный образ подается на вход сети, то сеть способна выдать запомненный ранее выходной образ. Двунаправленная ассоциативная память имеет ограничение на количество образов.