Самообучающиеся системы

Самообучающиеся интеллектуальные системы основаны на методах обучения на примерах. Примеры реальных ситуаций составляют так называемую обучающую выборку, которая формируется в течение определенного периода. Элементы обучающей выборки описываются множеством классификационных признаков.

Стратегия " обучения с учителем" предполагает задание специалистом для каждого примера значений признаков, показывающих его принадлежность к определенному классу ситуаций. При обучении " без учителя" система должна самостоятельно выделять классы ситуаций по степени близости значений классификационных признаков.

В процессе обучения проводится автоматическое построение обобщающих правил или функций, описывающих принадлежность ситуаций к классам, которыми система впоследствии будет пользоваться при интерпретации незнакомых ситуаций. Из обобщающих правил, в свою очередь, автоматически формируется база знаний, которая периодически корректируется по мере накопления информации об анализируемых ситуациях.

Построенные в соответствии с этими принципами самообучающиеся системы имеют следующие недостатки:

• относительно низкую адекватность баз знаний возникающим реальным проблемам из-за неполноты и/или зашумленности обучающей выборки;
• низкую степень объяснимости полученных результатов;
• поверхностное описание проблемной области и узкую направленность применения из-за ограничений в размерности признакового пространства.

Индуктивные системы позволяют обобщать примеры на основе принципа индукции " от частного к общему". Процедура обобщения сводится к классификации примеров по значимым признакам. Алгоритм классификации примеров включает следующие основные шаги.

1. Выбор классификационного признака из множества заданных.
2. Разбиение множества примеров на подмножества по значению выбранного признака.
3. Проверка принадлежности каждого подмножества примеров одному из классов.
4. Проверка окончания процесса классификации. Если какое-то подмножество примеров принадлежит одному подклассу, т.е. у всех примеров этого подмножества совпадает значение классификационного признака, то процесс классификации заканчивается.
5. Для подмножеств примеров с несовпадающими значениями классификационных признаков процесс распознавания продолжается, начиная с первого шага. При этом каждое подмножество примеров становится классифицируемым множеством.

Нейронные сети представляют собой классический пример технологии, основанной на примерах. Нейронные сети - обобщенное название группы математических алгоритмов, обладающих способностью обучаться на примерах, " узнавая" впоследствии черты встреченных образцов и ситуаций. Благодаря этой способности нейронные сети используются при решении задач обработки сигналов и изображений, распознавания образов, а также для прогнозирования.

Нейронная сеть - это кибернетическая модель нервной системы, которая представляет собой совокупность большого числа сравнительно простых элементов - нейронов, топология соединения которых зависит от типа сети. Чтобы создать нейронную сеть для решения какой-либо конкретной задачи, следует выбрать способ соединения нейронов друг с другом и подобрать значения параметров межнейронных соединений.

В системах, основанных на прецедентах, БЗ содержит описания конкретных ситуаций (прецеденты). Поиск решения осуществляется на основе аналогий и включает следующие этапы:

• получение информации о текущей проблеме;
• сопоставление полученной информации со значениями признаков прецедентов из базы знаний;
• выбор прецедента из базы знаний, наиболее близкого к рассматриваемой проблеме;
• адаптация выбранного прецедента к текущей проблеме;
• проверка корректности каждого полученного решения;
• занесение детальной информации о полученном решении в БЗ.

Прецеденты описываются множеством признаков, по которым строятся индексы быстрого поиска. Однако в системах, основанных на прецедентах, в отличие от индуктивных систем допускается нечеткий поиск с получением множества допустимых альтернатив, каждая из которых оценивается некоторым коэффициентом уверенности. Наиболее эффективные решения адаптируются к реальным ситуациям с помощью специальных алгоритмов.

Системы, основанные на прецедентах, применяются для распространения знаний и в системах контекстной помощи.

Нейросети.

Впервые о них заговорили в 1940-х годах. Считается, что теория нейронных сетей, как научное направление, была обозначена в классической работе Мак Каллока и Питтса в 1943 г., в которой утверждалось, что, в принципе, любую арифметическую или логическую функцию можно реализовать с помощью простой нейронной сети.

Среди основополагающих работ следует выделить модель Д. Хэбба, который в 1949 г. предложил закон обучения, явившийся стартовой точкой для алгоритмов обучения искусственных нейронных сетей, а также теоремы М. Минского и исследования им ряда типовых задач, в том числе, популярной задачи «Исключающего «ИЛИ». В 1958 г. Ф. Розенблатт предложил нейронную сеть, названную персептроном, и построил первый нейрокомпьютер «Марк-1». Персептрон был предназначен для классификации объектов и получал на этапе обучения от «учителя» сообщение, к какому классу принадлежит предъявляемый объект. Обученный персептрон был способен классифицировать объекты, в том числе, не использовавшиеся при обучении, делая при этом очень мало ошибок. Затем, после разработок 1950-х и 1960-гг. наступил период затишья, длившийся с 1968 по 1985 гг.

В 1985-1986 гг. теория нейронных сетей получила «технологический импульс», который был вызван возможностью моделирования нейронных сетей на появившихся в то время доступных и высокопроизводительных персональных компьютерах. Настольной книгой специалиста, моделирующего и применяющего нейронные сети, стала работа Ф. Уоссермена «Нейрокомпьютерная техника» (издана на русском языке в 1992 г.).

В настоящее время, по оценкам специалистов, ожидается значительный технологический рост в области проектирования нейронных сетей и нейрокомпьютеров. За последние годы уже открыто немало новых возможностей нейронных сетей, а работы в данной области становятся важным вкладом в промышленность, науку и технологии, имеют большое экономическое значение. Однако все попытки понять и моделировать объективные процессы обработки информации мозгом человека пока особого успеха не имели.

Несмотря на то, что разработки по нейронному моделированию ведутся нейробиологами уже более 50 лет, нет ни одной области мозга, где процесс обработки информации был бы ясен до конца. Также ни для одного нейрона в мозге пока невозможно определить код, который он использует для передачи информации в виде последовательности импульсов. Наиболее общепринятым является предположение о кодировании скоростью разрядов нейронов или временными и пространственными паттернами распределения разрядов.

Искусственный нейрон

Искусственный нейрон является основой любой искусственной нейронной сети.

Нейроны представляют собой относительно простые, однотипные элементы, имитирующие работу нейронов мозга. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены и заторможены.

Искусственный нейрон, также как и его естественный прототип, имеет группу синапсов (входов), которые соединены с выходами других нейронов, а также аксон – выходную связь данного нейрона – откуда сигнал возбуждения или торможения поступает на синапсы других нейронов.

Каждый синапс характеризуется величиной синаптической связи или

весом w_i, который по своему физическому смыслу эквивалентен

электрической проводимости.

Текущее состояние нейрона определяется как взвешенная сумма его

входов:

где x – вход нейрона, а w – соответствующий этому входу вес.

Активационная функция

Выход нейрона есть функция его состояния, т.е.

Нелинейная функция f(s) называется активационной, сжимающей функцией или функцией возбуждения нейрона.

Основные разновидности активационных функций, применяемых в нейронных сетях, представлены на рис. 3.

В качестве активационной функции часто используется сигмоидальная

(s-образная или логистическая) функция, показанная на рис. 3 с. Эта функция математически выражается по формуле:

При уменьшении a сигмоидальная функция становится более пологой, в пределе при a=0 вырождаясь в горизонтальную линию на уровне 0, 5; при увеличении a сигмоидальная функция приближается по внешнему виду к функции единичного скачка с порогом T в точке x=0. Из выражения для сигмоидальной функции видно, что выходное значение нейрона лежит в диапазоне [0, 1]. Одно из полезных свойств сигмоидальной функции –

простое выражение для ее производной:

Следует отметить, что сигмоидальная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того, сигмоидальная функция обладает свойством усиливать малые сигналы лучше, чем большие, тем самым предотвращая насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоидальная функция имеет пологий наклон.

Выбор структуры нейронной сети осуществляется в соответствии с особенностями и сложностью задачи. Для решения некоторых отдельных типов задач уже существуют оптимальные конфигурации. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации.

Теоретически число слоев и число нейронов в каждом слое нейронной сети может быть произвольным, однако фактически оно ограничено ресурсами компьютера или специализированной микросхемы, на которых обычно реализуется нейронная сеть.

При этом, если в качестве активационной функции для всех нейронов сети используется функция единичного скачка, нейронная сеть называется многослойным персептроном (рис. 4). В нейронных сетях, называемых персептронами, используется активационная функция единичного скачка.

Нейронные сети обратного распространения

Одним из наиболее распространенных видов нейронных сетей является многослойная структура, в которой каждый нейрон произвольного слоя связан со всеми аксонами нейронов предыдущего слоя, или в случае первого слоя со всеми входами нейронной сети.

Такие нейронные сети называются полносвязанными.

Алгоритм обратного распространения, применяемый для таких структур, заключается в распространение сигналов ошибки от выходов нейронной сети к ее входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Эта процедура обучения нейронной сети и получила название алгоритма обратного

распространения.

Карты Кохонена

Нейронные сети Кохонена или самоорганизующиеся карты Кохонена предназначены для решения задач автоматической классификации, когда обучающая последовательность образов отсутствует. Соответственно отсутствует и фиксация ошибки, на минимизации которой основаны алгоритмы обучения, например, алгоритм обратного распространения ошибки. Сеть Кохонена – это двухслойная нейронная сеть, содержащая входной слой (слой входных нейронов) и слой Кохонена (слой активных нейронов). Слой Кохонена может быть: одномерным, двумерным или трехмерным. В первом случае активные нейроны расположены в цепочку. Во втором случае они образуют двухмерную сетку (обычно в форме квадрата или прямоугольника), а в третьем случае они образуют трехмерную конструкцию.

В силу отсутствия обучающей последовательности образов, для каждого из которых известна от учителя принадлежность к тому или иному классу, определение весов нейронов слоя Кохонена основано на использовании алгоритмов классической классификации (кластеризации или самообучения).

Сети Хопфилда

Американским исследователем Хопфилдом в 80-х годах предложен специальный тип нейронных сетей. В отличие от сетей с прямыми связями, сети Хопфилда являются рекуррентными или сетями с обратными связями. Сети Хопфилда обладают следующими свойствами:

1. Симметрия дуг: сети содержат n нейронов, соединенных друг с другом. Каждая дуга (соединение) характеризуется весом wij.

2. Симметрия весов: вес соединения нейрона ni с нейроном nj равен весу обратного соединения: wij = wji; wii = 0.

3. Бинарные входы: сеть Хопфилда обрабатывает бинарные входы {0, 1} или {-1, 1}. В литературе встречаются модели сетей как со значениями 0 и 1, так и –1, 1. Для структуры сети это безразлично. Однако формулы для распознавания образов (изображений) при использовании значений –1 и 1 для входов и выходов нейронов сети Хопфилда получаются нагляднее.

ART-сети

Сети ART (Adaptive Resonance Theory) образуют класс различных нейронных сетей, предложенных Карпентером и Гроссбергом (Бостонский университет) в период 1987-1991 гг. На практике данные, используемые для обучения или самообучения сети, часто нестабильны. Например, если на вход обычной нейронной сети с прямыми связями, обучаемую с помощью алгоритма с обратным распространением ошибки (Backpropagation), подать образ такого класса, который не был представлен в обучающей последовательности. Здесь мы сталкиваемся с двумя противоречивыми требованиями или свойствами нейронной сети. С одной стороны очень важно, чтобы она была способна выявлять образы новых классов, ранее не представленных сети. Это свойство пластичности. С другой же стороны изученные классы образов должны сохраняться – свойство устойчивости нейронных сетей. Сети ART для установления новых ассоциаций (классов) нейронной сетью без забывания старых ассоциаций (классов).

Семейство ART-сетей включает:

§ ART-1: для бинарных входных векторов, когда признаки распознаваемых образов принимают два значения 1 или 0;

§ ART-2: расширение ART-1-сетей на непрерывные входные векторы;

§ ART-2a: оптимальная версия ART-2-сетей, отличающаяся повышенной скоростью сходимости;

§ ART-3: моделирование временных и химических процессов (биологических механизмов) на базе ART-2;

§ ARTMAP: комбинация двух ART-сетей (например, ART-1 и ART-2);

§ FuzzyART: гибридная сеть, объединяющая нечеткую логику (Fuzzy Logik) и ART сети.

Принцип работы

В ART-1-сетях различают следующие пять фаз внутренней обработки информации.

1. Инициализация сети: вначале инициализируются обе весовые матрицы (Bottom-up Matrix и Top-down Matrix), а также параметр толерантности.

2. Распознавание (Recognition): на этой фазе для входного вектора I или для вектора S, определенного на основе вектора I, определяется наиболее близкий класс.

3. Сравнение (Comparison): ожидаемый вектор V сравнивается со входным вектором I или вектором S. При слишком малом совпадении векторов V и S осуществляется повторное распознавание.

4. Поиск (Search): производится поиск альтернативного класса или же при необходимости открывается новый класс.

5. Адаптация весов (Training): на этой стадии осуществляется модификация обеих весовых матриц.