Студопедия

Главная страница Случайная страница

Разделы сайта

АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника






Оптимизация генно-нейронных сетей с самоорганизующейся архитектурой






Пусть имеется популяция {w}= W особей w, каждая из которых может принадлежать одному из К образов (классов) согласно разбиению (11.1). Особь w характеризуется набором признаков х (w), которые принимают значения, соответствующие одному из дискретных состояний генов xi (w). При этом состояния каждого гена описываются многозначным предикатом.

Вектор х(w) = состояний генов назовём хромосомой (локальным описанием) особи w. Будем говорить, что две особи имеют одинаковый генотип, если у них совпадают состояния всех генов, т.е.

. (11.18)

Множество хромосом образует класс генотипов, соответствующих некоторому генетическому образу с характеристической функцией вида (11.3).

Задачи генетического описания и распознавания образов сводятся к аппроксимации неизвестных функций R(w), R k (w) по генетическим (целочисленным) ОБД вида (11.7). Для решения этих задач можно использовать трёхслойную гетерогенную генно-нейронную сеть (ГНС) полиномиального типа, описанную в работах [17, 18, 37].

Обученные ГНС обеспечивают массовый параллелизм при обработке генетических данных, а именно: принятие оптимальных решений при распознавании образов или диагностике состояний осуществляется в ГНС за 3 такта параллельных вычислений в НЭ каждого слоя независимо от размерности задачи D = n´ m´ K.

Гетерогенность архитектуры ГНС проявляется в том, что первый и третий слои состоят из пороговых НЭ, а второй слой содержит полиномиальные НЭ.

Другой метод обучения и самоорганизации многослойных ГНС основан на логико-вероятностных генетических алгоритмах селекции информативных генов и конъюнктивных НЭ (К-нейронов) вида

.j= 1, …, m, (11.19)

и на синтезе логико-вероятностных решающих (идентифицирующих) правил импликативного типа [17, 18, 35, 37]

(11.20)

Здесь Pk - максимальная апостериорная вероятность принадлежности особи w к k -ому классу Wk, оцененная по ОБД вида (11.7).

Синтезированные генетические решающие (идентифицирующие) правила в случае, когда i-ый ген описывается многозначным предикатом, можно представить в виде многослойной ГНС минимальной сложности, представляющий собой бинарное “дерево решений”. Ветвям этого дерева соответствует K-нейроны вида (11.19), а листьям - номера классов генотипов.

В работах [35–37] представлено обобщение описанных ГНС на случай, когда каждый ген имеет не два, а произвольное число дискретных состояний, т.е. ген описывается многозначным предикатом вида

(11.21)

Для увеличения параллелизма в процессе принятия оптимальных (например, в смысле критерия Байеса) решений описанные многослойные ГНС с древовидной архитектурой можно преобразовать в трёхслойные диофантовые ГНС с целочисленными синаптическими весами с помощью методов, описанных в работах [35, 36]. В этом случае распознавание образов или диагностика состояний произойдут не за r £ rN шагов, а за 3 такта параллельных целочисленных вычислений в каждом слое НЭ независимо от размерности задачи D= n ´ m ´ K.

Гетерогенность архитектуры синтезированной диофантовой ГНС характеризуется тем, что первый и третий слои состоят из пороговых НЭ, а второй слой включает конъюнктивные НЭ вида (11.19).

11.5.6. Параллелизм и самоорганизация мульти-агентных нейронных сетей с гомогенной или гетерогенной архитектурой

Традиционно гомогенные или гетерогенные НС используются для автономного принятия решений в задачах распознавания образов, диагностики состояний, классификации данных и т.п. По существу эти НС являются обучаемыми интеллектуальными агентами, которые настраиваются на индивидуальное (одно-агентное) решение конкретных задач по ОБД вида (11.7).

В то же время существует большой класс интеллектуальных задач, требующий не только индивидуальных (одно-агентных), но и коллективных (мульти-агентных) решений. Классическим примером этого могут служить особенно сложные и ответственные задачи медицинской диагностики или теледиагностики, когда врачи вынуждены прибегать к помощи своих коллег для совместной постановки окончательного диагноза. При этом формируется “консилиум”, т.е. профессиональная группа врачей, интегрирующая знания и опыт входящих в неё членов для коллективного принятия наиболее правильных и сбалансированных диагностических решений.

Другим примером сложных задач, требующих коллективных решений, являются глобальные задачи, допускающие естественную (например, иерархическую или мультифрактальную) декомпозицию на множество локальных задач. В этом случае решение сложной (глобальной) задачи может быть распределено между интеллектуальными НС-агентами, специализирующимися на решении M частных (локальных) задач. Параллельная работа M таких НС-агентов может значительно ускорить обработку информации и повысить надежность решения общей (глобальной) задачи.

В роли интеллектуальных агентов могут выступать гомогенные или гетерогенные НС различных типов. Однако они должны быть взаимосвязаны с помощью каналов обмена информацией в процессе принятия коллективных решений. В этом случае можно создать мульти-агентную (глобальную) систему обработки и передачи информации, интегрирующую в себе возможности входящих в неё локальных НС как агентов.

Архитектура таких мульти-агентных НС может быть гомогенной или гетерогенной. В гомогенной архитектуре в качестве агентов используется НС одного типа. Например, это могут быть гомогенные НС-агенты типа “перцептрон” или гетерогенные диофантовые ПНС. В гетерогенной архитектуре используются НС-агенты различных (смешанных) типов. Например, они могут содержать разные типы гетерогенных ПНС или могут иметь специальных агентов-координаторов, организующих целенаправленную работу локальных НС-агентов.

Агенты-координаторы могут принимать коллективные (мульти-агентные) решения на основе локальных (одно-агентных) решений остальных НС как автономных сетевых агентов с помощью мажоритарных принципов или процедур голосования (например, по “большинству голосов”) [104]. При этом все локальные решения принимаются параллельно, что ускоряет принятие глобального (коллективного) решения в М раз.

В ряде случаев глобальная самоорганизация НС-агентов обеспечивается иерархической, фрактальной или мультифрактальной декомпозицией общей задачи на М подзадач. При этом степень внешнего (глобального) параллелизма в мульти-агентной нейросетевой системе определяется параметром М, характеризующем одновременную работу М локальных НС-агентов, каждый из которых обладает внутренним (локальным) параллелизмом при решении интеллектуальных задач, характеризующимся числом слоёв НЭ.

Мульти-агентное распознавание сложных 2D-изображений или 3D-сцен в ряде случаев основывается на их декомпозиции на самоподобные (фрактальные) компоненты и на обучении и самонастройке локальных гетерогенных ПНС на распознавание фрагментов по локальным ОБД, характеризующим эти фрагменты. В результате внутренней и внешней самоорганизации ПНС как НС-агентов достигается высокая степень параллелизма в процессе распознавания и анализа сложных изображений и сцен [52, 66].

Необходимость в использовании НС – агентов и мульти-агентных технологий возникает в глобальных ТКС и распределённых ИКС [29, 31–34]. В этом случае НС-агенты обучаются и самоорганизуются по локальным ОБД вида (11.7) и передают по каналам связи накопленные “нейрознания” и “опыт” другим НС-агентам. Для эффективного (в частности, оптимального) управления потоками данных между удалёнными сетевыми пользователями как внешними агентами (клиентами) и локальными НС как внутренними агентами целесообразно использовать нейросетевые маршрутизаторы потоков данных[69], позволяющие адаптироваться к непредсказуемым изменениям структуры и праметров глобальных телекоммуникационных и компьютерных сетей в процессе их функционирования в реальном времени.

Описанные гетерогенные архитектуры и быстрые алгоритмы обучения ПНС разных типов обеспечивают высокий параллелизм и самоорганизацию нейровычислений в процессе сетевого решения интеллектуальных задач. Коллективное (мульти-агентное) использование гетерогенных ПНС в качестве нейросетевых агентов позволяет дополнительно распараллелить и распределить между локальными НС-агентами процессы решения сложных (глобальных) задач распознавания образов, анализа изображений и сцен, расширенной (векторной) диагностики состояний и адаптивной маршрутизации информационных потоков в глобальных ТКС и распределённых ИКС.

11.6. Оптимизационный синтез и моделирование нейросетевых агентов–классификаторов Web-сайтов

Традиционные методы классификации Web-сайтов основаны на использовании ключевых слов, статистическом анализе текстов в сети Internet и построении по ним частотных векторов. Эти методы имеют ряд недостатков, связанных с утерей информации о порядке слов, пренебрежением морфологией языка и наличием на Web-страницах многочисленных ошибок и опечаток. В то же время в машинном обучении и нейронных технологиях известен другой подход к автоматической классификации данных. В его основе лежит понятие “ядерных функций” или “ядер” и полиномиальных нейроэлементов.

В последние годы было предложено несколько эффективных алгоритмов, основанных на использовании “ядер” [71–76]. К ним, в частности, относятся метод опорных векторов (SVM) и метод строковых ядер (SSK). Эти методы обеспечивают эффективное решение задачи классификации текстов на естественном (русском) языке.

Основное отличие этих методов от метода ключевых слов состоит в том, что тексты сравниваются исключительно по экспериментальным или статистическим БД, а не структурно, т.е. какое-либо разложение текста на составляющие (предложения, слова и т.п.) полностью отсутствует. Это позволяет неявно избежать проблем зашумлённости и учёта морфологии естественного языка.

В общем случае задача автоматической классификации данных заключается в нахождении по некоторым данным (прецедентам) системы правил, которые относят каждый объект к одному из нескольких классов (образов). В случае дихотомии, т.е. классификации на два класса, эта задача ставится следующим образом.

Пусть задано пространство X = Rn и множество из двух классов Y = {− 1, +1}. Разделение точек в пространстве X на два класса задаётся неизвестным распределением вероятностей P(x, y). Обучающее множество данных

T = {(x, y): x Î X, y Î Y} (11.21)

состоит из ограниченной выборки независимо распределенных векторов. Это означает, что в Т содержатся реализации (примеры) случайной величины (x, y), т.е. представителей каждого класса, и определяет обучающую БД табличного типа.

Необходимо найти классифицирующую (распознающую) функцию вида

f: Rn → {− 1, +1}, (11.22)

правильно классифицирующую все остальные точки пространства Х и минимизирующую некоторый функционал стоимости.

Оптимальным решением задачи будем называть классифицирующую функцию f, минимизирующую функционал среднего риска вида [71–74]:

, (11.23)

где l – функция потерь (например, ). К сожалению, минимизировать функционал (11.23) напрямую невозможно, так как распределение вероятностей P(x, y) неизвестно. Поэтому приходится искать функцию f, которая близка к оптимальной в терминах имеющейся информации, т.е. обучающего множества Т, и особенностей функций f.

Основная трудность решения задачи автоматической классификации текстов заключается в том, что часто классифицируемые объекты (тексты) изначально не являются точками в Rn. В таких случаях возникает необходимость в предварительном кодировании текстов. Иначе говоря, необходимо сначала сопоставить каждому объекту (тексту) точку в Rn, т.е. выделить признаки классифицируемых объектов.

Важно отметить, что от количества признаков и от их информативности существенно зависит, насколько легко объекты разных классов будут отделимы друг от друга. Поэтому при классификации текстовых документов из Web- сайтов эта проблема эффективного кодирования текстов должна быть решена в первую очередь [71, 72].

Основная идея нейросетевого подхода, основанного на использовании “ядер”, заключается в следующем: вместо того, чтобы искать сложные (например, полиномиальные) разделяющие поверхности в исходном пространстве, легче искать самую простую разделяющую поверхность, а именно, гиперплоскость. Однако это возможно лишь в некотором новом (расширенном) пространстве F потенциально значительно большей размерности, чем исходное пространство R N. При правильном переходе в F можно рассчитывать, что рассматриваемые точки будут в нём полностью разделимы некоторой гиперплоскостью. При этом в исходном пространстве признаков этой гиперплоскости может соответствовать сложная нелинейная поверхность, описываемая, например, полиномиальной решающей функцией.

К сожалению, в большинстве случаев при классификации текстов на естественном языке реализация этого подхода в явном виде крайне затруднительна или невозможна, так как размерность пространства F оказывается настолько большой, что использовать даже простой алгоритм нахождения гиперплоскости оказывается весьма сложно. Эта проблема легко решается на основе применения “ядер” [71-73], т.е. специальных нелинейных (например, полиномиальных) преобразований.

“Ядром” называется функция двух аргументов из одного пространства, определяющая скалярное произведение их образов в другом пространстве. “Ядро” Web-классификатора текстов должно вычислять скалярное произведение образов в новом пространстве F, используя только элементы из исходного пространства X. Пусть

Ф: X F (11.24)

есть отображение перехода в пространство F. Тогда функция k(x, y) будет “ядром”, если

< (Ф(x), Ф(y))> = k (x, y), (11.25)

где < a, b > – символ скалярного произведения векторов a и b.

Таким образом, любой алгоритм, который использует только скалярное произведение вида (11.25), может быть неявно выполнен в F посредством “ядер”, не вычисляя образов Ф и даже не зная саму эту функцию Ф.






© 2023 :: MyLektsii.ru :: Мои Лекции
Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав.
Копирование текстов разрешено только с указанием индексируемой ссылки на источник.