Блок информации. Основные понятия и свойства нейронных сетей (НС).

Основные понятия и свойства нейронных сетей (НС).

Легко заметны разница в выполнении расчетного задания человеком и ЭВМ: человек способен уяснить задачу и самостоятельно выбрать оптимальный алгоритм решения, учтя и исправив все промежуточные ошибки; ЭВМ выполнит расчет с огромной скоростью, но требует предварительного введения подробного и абсолютно однозначного порядка её решения, если допущена какая-то ошибка или просто допускается двойственность толкования, результат не может быть получен. В лучшем случае он будет ошибочен или приведет к недопустимым последствиям в худшем, что случается чаще. Очень часто требуется анализировать неполные наборы данных или данные, не позволяющие однозначного толкования, мозг человека способен справляться и здесь, хотя и медленно, а ЭВМ такие задачи не решает в принципе. Кроме того, усложнение электронных машин неизбежно снижает их надежность, как системы. Биологический же мозг работает очень надежно, несмотря на его гигантскую сложность и принципиальную низкую устойчивость, определяемую составляющими его органическими молекулами и тканями. Идеальным вариантом и целью многих исследований является создание неорганических систем способных проявлять адаптивность и устойчивость в решении задач, проявляемые пока только животным мозгом, устройство которого служит образцом для создания таких вычислительных устройств. Существенно, что именно такие системы могут определять параметры порядка и русла различных биосистем часто находящихся в хаотических режимах, а их динамика может определяться аттрактором состояний в фазовом многомерном пространстве.

1. Нейрон и биологические нейронные сети.

Основной структурной и функциональной единицей любой НС является нейрон (Н). В морфологическом аспекте он содержит сому, дендриты и аксон. Другие структурные единицы будут представлены ниже.

Несмотря на огромное разнообразие и особенности (вариации) морфологических типов Н все они имеют ряд общих свойств, которые положены в основу организации различных математических, физических, технических и физико-химических моделей НС, существующих в настоящее время. Рассмотрим эти свойства в порядке их значимости для моделирования НС и частоты встречаемости их описаний в тех или иных научных работах. Первое и главное свойство нейрона- это способность возбуждаться, генерировать потенциал действия (ПД), т.е. переходить из неактивного состояния в активное. Причем по истечении некоторого времени (или в результате специальных тормозных воздействий) Н возвращается в исходное пассивное состояние.

Следует отметить, что термин " пассивное состояние" весьма условный, т.к. при этом на мембранах нейронов активно поддерживается с помощью калий-натриевых молекулярных " насосов" (см. Экклс Дж.1959, 1966) некоторая разность потенциалов. Это так называемый потенциал покоя (ПП), который является характерным примером различных существующих биоэлектрических потенциалов (БП). В модельных нейронах ПП обычно не учитывается, но именно он и механизм переноса ионов K⁺ и Na⁺ и обеспечивает пороговое свойство нейронов. Последнее реализует известный принцип (закон) " все или ничего", который постулирует генерацию ПД при достижении определенной величины деполяризации мембраны (т.е. падения ПП до критического уровня от исходного отрицательного значения).

Справедливости ради надо отметить, что отмеченная величина деполяризации в реальной ситуации бывает очень разной в зависимости от фактического функционального состояния нейрона в данный момент времени, поэтому понятие порога носит скорее качественный характер и не характеризуется строгой количественной величиной в общем случае.

Итак, два базовых свойства любого нейрона (возбудимость и пороговые свойства) обязательно учитываются практически во всех моделях HC. При желании для более подробного знакомства со свойствами биологических нейронов в указанном аспекте можно порекомендовать обратиться к многочисленным работам классиков отечественной и зарубежной электрофизиологии (Leshley K.C., 1922, 1950; Лоренто де Но, 1938, 1943; Костюк П.К., 1963-1996; Экклс Дж., 1959, 1966; Эдриан Э., 1935; Гранит Р., 1957).

Весьма важным свойством нейронов является свойство передачи импульсов с возможным преобразованием (или запоминанием на молекулярном уровне внутри указанных выше трех структурных элементов) и передаче на другие, контактирующие нервные клетки. В последнем случае такая передача осуществляется посредством специальных структурных элементов- синапсов, имеющих сложную структуру и, как правило, использующих специальные химические вещества- медиаторы (посредники). В общем случае синапсы осуществляют как передачу возбуждения в НС, так и осуществляют тормозные процессы между нейронами. Последнее может обеспечивать очень важное свойство адаптации НС к постоянным (длящимся) и периодическим сигналам. Выделяют специальный класс НС с адаптацией, когда пришедший извне сигнал на НС неизбежно должен затухать в такой адаптивной НС. Свойство адаптации может быть обусловлено не только специальными (тормозными) связями между нейронами НС, но и за счет свойства аккомодации отдельных нейронов, составляющих эту сеть. Свойством аккомодации (затуханием возбуждения, падением потенциалов на мембране нейрона) обладают в той или иной степени многие нейроны и это часто учитывается при создании модельных НС. Отметим, что в компартментных моделях не это свойство учитывается слагаемым – bx.

Описывая наличие синаптических передач (как отдельного свойства НС) мы не затронули еще одно свойство любого нейрона, связанного с синапсами- это свойство суммации сигналов, поступающих через посредство синаптических передач. Два сигнала, поступающие на один нейрон от двух разных источников сигналов суммируются (в ряде моделей интегрируются во времени), обеспечивая тем самым формально важную математическую операцию. Известно, что существующие ЭВМ (цифровые) выполняют только арифметические действия и суммирование (казалось бы!) приближает НС к ныне действующим алгоритмическим машинам, но это кажущееся совпадение, т.к. и в работе мозга, и в работе нейро-ЭВМ (как мы увидим ниже) операция суммации играет определенную роль, но далеко не главную. Именно синапсы, их ассоциативность являются главенствующими элементами в работе любой НС и мозга в целом.

И последнее (но не в смысле значения) свойство нейронов и НС- это способность к запоминанию на молекулярном, клеточном и нейросетевом (в виде архитектуры синаптических связей и их весовых значений) уровнях. Феноменальные свойства НС кроются в организации связей между нейронами и их количественной (синаптической) характеристике, которая представляется весом связи синапса и реализует реальный вклад каждого отдельного синапса в поступающие на суммируемый нейрон сигналы. Именно изменяя эти веса связей и всю архитектуру межнейронных взаимодействий мы можем подстраивать модельные НС к внешним сигналам, устраняя при этом неопределенность между входом и выходом любой модельной или реальной (биологической) НС.

Излагая основные свойства нейронов и НС в целом, мы подошли к важным понятиям памяти в НС, запоминанию (некоторой подстроечной процедуре)- как процессу и процедуре устранения неопределенности между входом (до поступления сигнала на НС) и выходом в НС и новому для нас понятию- обучению НС. Последнее тоже является свойством любой НС, т.к. даже отдельный нейрон оставляет следовые изменения, которые можно рассматривать как память, а сам такой процесс- как обучение.

2. Память - основное свойство НС и мозга.

Свойство памяти в НС является фундаментальным и наименее изученным в настоящее время. Существует много доктрин этой важной функции мозга и некоторые из них стоит перечислить для дальнейшего понимания работы НС. В хронологическом и взаимоисключающем порядке это: идея эквипотенциальности (каждая часть переднего мозга может заменить другую) и альтернативная ей идея локализации (в идеале- каждое сенсорное впечатление имеет собственную клетку в мозге); идея детерминистской модели мозга (все процессы сводятся к последовательным элементарным актам) и стохастической (когда возможны различные воспроизводимые комбинации и вспоминаются наиболее вероятные). Стохастическая организация памяти и работы мозга в целом наиболее признана в настоящее время и лежит в основе работы модельных НС (в том числе и компьютерных, математических моделей НС), хотя мы говорим о хаотической и синергетической работе НС, когда одно и тоже действие (запоминание) реализуется любой НС множественными способами.

Функции мозга (и в частности, память) могут рассматриваться с позиций полевых (например, когерентных) взаимодействий, где в локальных участках имеются максимумы или минимумы силовых характеристик электромагнитных (или других) полей. В этой связи следует отметить голографический подход к работе мозга (и памяти, в частности). Противоположная точка зрения на описываемые процессы лежит в представлениях теории коннективизма, когда память как функция мозга основана на указании определенных путей распространения возбуждения и выхода сигнала с НС. Как мы увидим, это свойство действительно имеет место и положено в основу работы различных НС, используемых уже на практике в настоящее время.

Перечисление свойств НС и мозга в целом будет не полным, если мы не упомянем работы Е. Маковски (1966, 1976), который утверждал, что живой мозг состоит из двух форм материи- биоструктурированной и молекулярной. Наличие биоструктуры характерно только для живого и распадается с гибелью организма, когда максимизируется энтропия и организм устремляется к хаосу. В то же время молекулы входят в состав биоструктуры и могут существовать независимо от биоструктуры. В этой связи уместно напомнить, что детерминированные структуры нейро-ЭВМ все же следует рассматривать как гигантские флуктуации упорядочивания, каковыми являются НС и мозг в целом в рамках теории хаоса и синергетики (ТХС)

По Е. Маковски мозг- это четырехмерная система (четвертая координата- время), которая присуща только живым организмам. Однако это не значит, что все перечисленные выше свойства нейрона, НС и мозга в целом невозможно моделировать. Однако принципиальный вопрос о природе этих моделей. Они могут быть детерминистскими (дифференциальные или разностные уравнения), стохастическими (в виде функций распределения и их параметров) и хаотическими (в виде аттракторов с самоорганизацией в фазовом пространстве состояний). В ТХС мы работаем с аттракторами и пулами нейронов, когда один элемент для системы ничего не значит. В синергетике это главный принцип, а самоорганизация обеспечивает постоянную настройку и работу любой биосистемы (в том числе и НС). В ТХС возникают главные проблемы с определением параметров порядка, которые в памяти играют роль ключевых слов или образов (для воспоминания).

Выборочно фиксировать и сохранять во времени следы внешних и внутренних воздействий системы и при некоторых условиях воспроизводить эти следы (под этим мы понимаем ПАМЯТЬ) могут различные технические, физические или химические системы. Это же может реализоваться и в виде математических моделей, где указанные следы воздействий представляются так называемыми начальными условиями для данной модельной системы (в виде обыкновенных дифференциальных уравнений, уравнений в частных производных, разностных уравнений, интегро- дифференциальных и др. уравнений). Рассмотрим на конкретном примере математические модели НС.

3. Математические модели НС.

Представить в кратком сообщении основные виды математических моделей НС не представляется возможным, т.к. необходимо предварительно представлять хотя бы кратко математический аппарат, реализующий эти модели со всеми особенностями формальной логики. Поэтому целесообразно нам рассмотреть в рамках хотя бы одного подхода, как реализуются выше перечисленные свойства нейрона и НС и рассмотреть основные проблемы в архитектуре различных НС и их математических аналогов. В качестве такого подхода мы выбираем компартментный или пуловый подход в моделировании НС, как наиболее полно разработанный в настоящее время и обладающий определенной завершенностью. Сразу оговоримся что, как всякая абстрактная наука, математическая теория НС требует формализации указанных выше свойств нейрона и НС и введения некоторых абстракций. Отметим, что в НС, используемых в нейрокомпьютерах, формализация НС гораздо жестче и примитивней (несмотря на выдающиеся практические результаты) и в этом смысле теория НС (или нейродинамика)- наука более приближенная к реальному биологическому объекту. Она выполняет некоторые посреднические роли в исследованиях между субстратом (например, мозгом) и нейромашиной (искусственным мозгом, интеллектом).

Итак, пусть x_i- мембранный потенциал некоторого i-го нейрона, t- постоянная времени нейрона, которая характеризует процесс затухания этого потенциала после некоторого его изменения (например, после нанесения внешнего раздражения), a_ij - весовой коэффициент синаптической связи между данным i-м и некоторым произвольным j-м нейроном из рассматриваемого нейронного пула. Пусть, наконец,

(2.4.1)

будет некоторым суммарным входом, генерируемым всей нейронной сетью на рассматриваемый i-й нейрон. Тогда простейшая математическая модель формализованного нейрона, входящего в компартментную (состоящую из блоков, частей, пулов, выполняющих сходные функции и проявляющих сходную активность) нейронную сеть примет вид:

, (2.4.2)

причем a_ij < 0, если имеет место тормозный процесс и a_ij > 0, если процесс межнейронного взаимодействия имеет возбуждающий характер. Отметим, что выход j- го нейрона - является пороговой функцией, т.е. = max{c, x_j} (j = 1,..., n), где c-некоторая константа.

Математическая модель некоторой усредненной активности нейронного пула (компартмента), очевидно, должна не только содержать основные элементы модели (2.4.2), но и иметь ряд особенностей, характерных для кооперативных систем, что согласуется с принципом синергетики. В первую очередь будем пренебрегать пороговыми свойствами нейронного пула, поскольку активность нейронов не синхронизирована а порог отдельно взятого нейрона пренебрежимо мал в сравнении с суммарной активностью всего пула. Следует отметить, что эти приближения не столь грубые, как приближения по моделированию пороговых функций в модели (2.4.2). В действительности величина порога является функцией состояния нейрона и, например, в рефрактерный период значение порога с в несколько раз превышает исходную величину (т.е.- это фактически переменная величина).

Итак, при построении компартментных нейронных сетей будем пренебрегать пороговыми свойствами отдельных нейронов и считать, что нейронный пул состоит из однородных нейронов, обладающих приблизительно одинаковыми свойствами. Будем представлять нейронный пул НС, как некоторый компартмент общей компартментной модели. Постулируем наличие пре- и постсинаптических тормозных или возбуждающих взаимодействий между этими нейронными пулами (компартментами). Поскольку внешние управляющие воздействия- драйвы играют главенствующую роль в работе всей НС, то будем также их учитывать во всех этих моделях, как некоторое входное воздействие.

Тогда представим, что i-й компартмент имеет некоторую непрерывную, мгновенно усредненную во времени биоэлектрическую активность x_i. Интегрированная активность (фактически это выход) всей нейронной сети в этом случае будет представлена формулой:

(2.4.3)

где c_i- весовые коэффициенты (i= 1,..., m) а m- общее число компартментов, входящих в исследуемую нейронную сеть. Заметим, что именно эта y наиболее легко измеряемая в эксперименте величина. Это может быть регистрируемая активность, (например, для дыхательных НС) афферентных дыхательных нервов, например, диафрагмального или межреберных, и именно с этой величиной экспериментаторы работают при идентификации НС (Еськов В.М., Филатова О.Е., 1994).

Будем предполагать существование возбуждающих (энергетических) связей между компартментами, что подтверждается большим количеством экспериментальных работ (Якунин В.Е., 1994; Еськов В.М. 1994) и уже рассмотренными выше математическими построениями (Walter B.C., 1985; Matsuoka K., 1985; Еськов В.М., 1993, 94, 95). Пусть передача возбуждения между компартментами определяется коэффициентами , а тормозные процессы будут зависеть от интегральной активности НС.

Как отмечалось в ряде работ, прямых экспериментальных доказательств наличия тормозных взаимодействий между нейронами многих классов может и не существовать (см. выше). С другой стороны не вызывает сомнений огромная роль тормозных процессов в работе любой НС (ЕськовВ.М., 1994). Поэтому в этой ситуации разумно будет учитывать тормозные процессы не как результат прямого межнейронного взаимодействия (например, полагать , а через посредство некоторой функции, зависящей от x_j. При этом конкретный вид этой функции можно не задавать а ограничиться только некоторыми ее свойствами, имеющими существенное, экспериментально доказанное, биологическое значение. Например, торможение в компартментных сетях будет влиять на процессы передачи возбуждения от j-го пула на i-й путем ослабления этой передачи в p_j(y) раз. Таким образом передача возбуждения будет определяться величиной a_ijp_j(y).

Следующее важное свойство нейронного пула, который является компартментом в моделях НС, связано с диссипацией энергии в нем. Фактически, как и в случае с моделированием отдельного нейрона, вводится некоторый коэффициент затухания возбуждения - b. Он определяется величинами коэффициентов диссипации возбуждения нейронов данного пула (в модели (2.4.2) это была величина ), но он является некоторым обобщенным показателем. Для упрощения рассмотрения моделей будем пренебрегать различиями между пулами и считать величину b одинаковой для всех пулов. Тогда по принципу соответствия, предложенному выше, простейшая компартментная модель НС с учетом обратной отрицательной связи и внешнего управляющего драйва примет вид:

, (2.4.4)

где ud_i учитывает управляющий драйв (УД) на i -й компартмент, причем d_i (i =1,..., m) является весовым коэффициентом УД, а - некоторый скалярный фактор. Эту модель можно переписать в векторно-матричной форме

(2.4.5)

где

(2.4.6)

Для случая циклических нейронных сетей, как наиболее распространенных в природе и лучше изученных на различных моделях, достаточно положить

a_ij =0 исключая a_1n> 0, a_{i+1, i}> 0 (i = 1,..., m - 1) (2.4.7)

Если интегральная активность НС y влияет на тормозный процесс передачи возбуждения только к одному (например, первому) компартменту, то

(2.4.8)

Это простейший случай циклической НС. Другой крайний случай возникает, когда y влияет на тормозный процесс передачи возбуждения сразу на все компартменты (для простоты одинаковым образом).Тогда

p_i= p(y) (i = 1,..., m)

Влияние УД на динамику поведения НС так же может быть различным. Если только один пул будет чувствительным к УД, то

d = (1, 0,..., 0)^Т. (2.4.9)

Если же все пулы будут чувствительны к УД одинаковым образом, то

d = (1,..., 1)^Т. (2.4.10)

Вектор весовых коэффициентов c в (2.4.5) определяет вклад отдельного пула в интегральную активность всей НС. Поэтому, если y формируется активностью только одного нейрона, то

c = (0,..., 0, 1)^Т, (2.4.11)

а если всех нейронов одинаково, то

c = (1,..., 1)^Т. (2.4.12)

Полагаем, что возбуждение является энергетической характеристикой РНС и оно определяет суммарный электрический потенциал, генерируемый на выходе НС. Последний, как уже отмечалось, регистрируется в эфферентных нервах и является объектом идентификации любой нейронной сети.

Математические модели компартментных разложимых нейронных сетей, т.е имеющих иерархическую структуру, описываются моделями, сходными с векторно-матричным уравнением (2.4.5), однако матрица А имеет в этом случае блочно-треугольный вид. Например:

, (2.4.13)

где А_ij- некоторые матрицы, описывающие межпуловые (межкомпартментные) связи. Отметим, что матрицы А₂₁, А₃₁, А₃₂ описывают связи между отдельными нейронными сетями (так называемыми кластерами) а, в целом, матрица (2.4.13) представляет трехкластерную НС с двумя уровнями иерархии. Нейронные сети обычно изображается графами На рис.2.4.1 показаны графы m-мерных циклических (а) и нециклических (b) нейронных сетей. Оба графа представляют неразложимые нейронные сети, т.к. любая пара компартментов связана между собой одной связью; матрицы неразложимых НС никаким преобразованием не приводимы к блочно-треугольной форме.

На основе компартментных представлений разработаны модели респираторных нейронных сетей (Еськов, 1994; Еськов, Филатова, 1994). Рассмотрены наиболее часто встречающиеся модели циклических РНС, приведены случаи разложимых и неразложимых сетей, показана возможность и применение моделей с выделением подциклов, когда проявляется влияние на отдельные компартменты всех прочих. Применение фармакологических препаратов, тепловых воздействий и селективное раздражение конкретных нервных путей позволило целенаправленно исследовать возможные пути и знаки взаимодействий внутри сети. В качестве выходной функции у использована активность межреберных и диафрагмальных нервов. Применение компартментного подхода позволяет получать колебательные решения моделей РНС без применения предположений о специальном управлении дыхательным ритмом, только из внутренних свойств модели. Сравнение реальных биологических фактов и результатов моделирования позволяет отнести различные модели к конкретным типам дыхания. Существенно, что Компартментный принцип (агрегация элементов в блоки) является базовым принципом синергетики и поэтом ККТБ связывает ТХС с детерминистским подходом.

Рис.2.4.1. Графические структуры систем m-го порядка с отрицательными обратными связями (a_1m=0):

a) нециклическая; b) циклическая.

4. Искусственные нейронные сети

Любая область знаний ставит перед исследователями множество задач, часть которых успешно решается с помощью ЭВМ. Привычный процесс решения задачи компьютером можно разделить на 3 основных этапа:

1. Человек, согласно условиям задачи, вводит исходные данные в компьютер.

2. ЭВМ, используя введенные данные, проводит вычисления по заранее установленному алгоритму.