Искусственные нейронные сети, их свойства и Основные Характеристики.

Рис. 1. Базовая структура нейронной сети

Классификация нейронных сетей:

По способу съема информации с выходов нейронной сети различают:

- съем с выходов выходных нейронов;

- съем с синапсов выходных нейронов;

- съем в виде значений весов синапсов выходных нейронов;

- аддитивный съем с синапсов выходных нейронов.

По организации обучения разделяют:

- обучение нейронных сетей с учителем (supervised neural networks);

- без учителя (nonsupervised).

По способу обучения разделяют:

- обучение по входам;

- обучение по выходам.

По способу предъявления примеров различают:

- предъявление одиночных примеров;

- предъявление «страницы» примеров.

По особенностям модели нейрона различают нейроны с разными нелинейными функциями:

- пороговой;

- экспоненциальной сигмоидой;

- рациональной сигмоидой;

- гиперболическим тангенсом.

Виды искусственных нейронных сетей:

- L-слойные сети прямого распространения: стандартная и каскадная.

Стандартная L-слойная сеть прямого распространения состоит из слоя входных, (L-1) скрытых слоев и выходного слоя, соединенных последовательно в прямом направлении и не содержащих связей между элементами внутри слоя и обратных связей между слоями.

Каскадная сеть прямого распространения отличается тем, что входными параметрами для L-ого слоя могут быть выходные параметры не только (L-1)-ого слоя, но и всех слоев, предшествующих ему.

- Многослойный перцептрон. Каждый вычислительный элемент такой сети использует пороговую или сигмоидальную функцию активации. Многослойный перцептрон может формировать сколь угодно сложные границы принятия решения и реализовывать произвольные булевы функции.

- RBF-сети - сети, использующие радиальные базисные функции, являются частным случаем двухслойной сети прямого распространения. Каждый элемент скрытого слоя использует в качестве активационной функции радиальную базисную функцию типа гауссовой. Радиальная базисная функция (функция ядра) центрируется в точке, которая определяется весовым вектором, связанным с нейроном. Как позиция, так и ширина функции ядра должны быть обучены по выборочным образцам. Обычно ядер гораздо меньше, чем обучающих примеров. Каждый выходной элемент вычисляет линейную комбинацию этих радиальных базисных функций.

- Самоорганизующиеся карты Кохонена. Алгоритм Кохонена дает возможность строить нейронную сеть для разделения векторов входных сигналов на подгруппы. Сеть состоит из M нейронов, образующих прямоугольную решетку на плоскости. Элементы входных сигналов подаются на входы всех нейронов сети. В процессе работы алгоритма настраиваются синаптические веса нейронов.

- Сеть Элмана представляет собой рекуррентную сеть, состоящую из двух слоев, в которой скрытый слой охвачен динамической обратной связью.

- Сеть Хопфилда также относиться к рекуррентным сетям. Динамическое изменение состояний сети может быть выполнено, по крайней мере, двумя способами: синхронно и асинхронно. В первом случае все элементы модифицируются одновременно на каждом временном шаге, во втором - в каждый момент времени выбирается и подвергается обработке один элемент. Этот элемент может выбираться случайно. Сеть функционирует циклически. Выход каждого из нейронов подается на входы всех остальных нейронов. Нейроны сети имеют жесткие пороговые функции.

- Модель Хэмминга - нейронная сеть, которая реализует параллельное вычисление расстояний Хэмминга от входного вектора до нескольких векторов-образцов. Расстояние Хэмминга между двумя бинарными векторами одинаковой длины - это число несовпадающих бит в этих векторах. Входными сигналами являются бинарные векторы, а выходными - целые числа. В качестве передаточной функции используется линейная с насыщением.

- Модель ART (Adaptive Resonance Theory) или сеть Гроссберга обучается без учителя, она реализует алгоритм кластеризации: первый входной сигнал считается образцом первого кластера; следующий входной сигнал сравнивается с образцом первого кластера. Говорят, что входной сигнал «следует за лидером» и принадлежит первому кластеру, если расстояние до образца первого кластера меньше порога. В противном случае второй входной сигнал - образец второго кластера. Этот процесс повторяется для всех следующих входных сигналов. Таким образом, число кластеров растет с течением времени и зависит как от значения порога, так и от метрики расстояния, использующейся для сравнения входных сигналов и образцов классов.

Сеть ART-1 отличается от сети Хэмминга обратными связями от выходных нейронов к входным, кроме того имеется возможность выключать выходной нейрон с максимальным значением соответствия и проводить пороговое тестирование соответствия входного сигнала и образцов кластеров. Порог показывает, насколько должен входной сигнал совпадать с одним их запомненных образцов, чтобы они считались похожими.

В существовании нейронных сетей можно выделить 3 основных этапа:

- создание;

- обучение;

- использование.

Правило Хебба

- Увеличивать вес активного входа нейрона, если выход этого нейрона должен быть активным.

- Уменьшить вес активного входа нейрона, если выход этого нейрона не должен быть активным.

Задача нейронной сети состоит в преобразовании информации требуемым образом. Для этого сеть предварительно обучается. При обучении используются идеальные (эталонные) значения пар < входы-выходы> или < учитель>, который оценивает поведение нейронной сети. Для обучения используется так называемый обучающий алгоритм.

Обучающий алгоритм модифицирует отдельные нейроны сети и веса ее связей таким образом, чтобы поведение сети соответствовало желаемому поведению.

Алгоритм обучения:

1. Задать начальные значения весов и порогов каждого нейрона. Всем весам и порогам присваиваются малые случайные значения.

2. Представить входной и выходной образы из обучающей выборки.

3. Рассчитать действительные значения выходов. Значения выходов нейронов каждого слоя рассчитываются и передаются на входы нейронов следующего слоя.

4. Провести модификацию весов связей. Начиная от выходного слоя и, двигаясь в обратном направлении, необходимо изменять веса.