Студопедия

Главная страница Случайная страница

Разделы сайта

АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника






История нейронных сетей






Изучению человеческого мозга – тысяче лет. С появлением современной электроники, начались попытки аппаратного воссоздания процесса мышления. Первый шаг был сделан в 1943 г. с выходом статьи нейрофизиолога Уоррена Маккалоха (Warren McCulloch) и математика Уолтера Питтса (Walter Pitts) о работе искусственных нейронов и представлении модели нейронной сети на электрических схемах.

В 1949 г. опубликована книга Дональда Хебба (Donald Hebb) " Организация поведения". В ней исследована проблематика настройки синаптичних связей.

В 1950-х гг. появляются программные модели искусственных нейромереж. Первые работы провел Натаниел Рочестер (Nathanial Rochester) из опытной лаборатории IBM. И хотя более поздние реализации были успешными, его модель испытала неудачи, поскольку бурный рост традиционных вычислений оставил в тени нейронные исследования.

В 1956 г. Дартмутский опытный проект из искусственного интеллекта обеспечил подъем искусственного интеллекта, в частности, нейронных сетей. Стимулирование исследований искусственного интеллекта разветвилось в двух направлениях: промышленные применения систем искусственного интеллекта (экспертные системы) и моделирования мозга.

В 1958 г. Джон фон Нейман (John fon Neumann) предложил имитацию простых функций нейронов с использованием вакуумных трубок.

В 1959 г. Бернард Видров (Bernard Widrow) и Марсиан Хофф (Marcian Hoff) разработали модели ADALINE и MADALINE (Множественные Адаптивные Линейные Элементы (Multiple ADAptive LINear Elements)). MADALINE действовала, как адаптивный фильтр, который устранял отголосок на телефонных линиях. Эта нейромережа до сих пор в коммерческом использовании.

Нейробиолог Фрэнк Розенблатт (Frank Rosenblatt) начал работу над перцептроном. Однослойный перцептрон был построен аппаратно и считается классической нейромережею. На то время перцептрон использовался в классификации множественного числа входных сигналов в один из двух классов. К сожалению, однослойный перцептрон был ограниченным и испытал критике в 1969 г., в книге Марвина Мински (Marvin Minsky) и Сеймура Пейперта (Seymour Papert) " Перцептрони".

Ранние успехи, были основанием того, что люди преувеличили потенциал нейронных сетей, в частности в свете ограниченной по тем временам электроники. Избыточная надежда, которая цвела в академическом и техническом мирах, заразила общую литературу этого времени. Опасение в том, как эффект " мыслящей машины" отразится на человеке все время подогревался писателями, в частности, серия книг Азимова о роботах показала последствия на моральных ценностях человека, в случае возможности интеллектуальных роботов выполнять функции человека.

Эти опасения, объединенные с невыполненными обещаниями, вызывали множественное число разочарований специалистов, которые критиковали исследование нейронных сетей. Результатом было прекращение большинства финансирования. Этот период спада продолжался до 80-х годов.

В 1982 г. возобновление интереса повлекло несколько событий. Джон Хопфилд (John Hopfield) представил статью к национальной Академии Наук США. Подход Хопфилда создавал корневой новые подходы к моделированию.

В то же время в Киото (Япония) состоялась Объединенная американо-японская конференция по нейронным сетям, которые объявили достижением пятой генерации. Американские периодические издания подняли эту историю, акцентируя, что США могут остаться позади, что привело к росту финансирование в отрасли нейромереж.

Из 1985 г. Американский Институт Физики начал ежегодные встречи - " Нейронные сети для вычислений".

В 1989 г. на встрече " Нейронные сети для обороны" Бернард Видров сообщил аудитории о начале четвертой мировой войны, где полем боя являются мировые рынки и производства.

В 1990 г. Департамент программ инновационных исследований защиты малого бизнеса назвал 16 основных и 13 дополнительных тем, где нужно и возможно использование нейронных сетей.

Сегодня, обсуждения нейронных сетей происходят везде. Перспектива их использования кажется достаточно яркой, в свете решения нетрадиционных проблем и является ключом к целой технологии. На данное время большинство разработок нейронных сетей принципиально работающие, но могут существовать процессорные ограничения. Исследования направлены на программные и аппаратные реализации нейромереж. Компании работают над созданием трех типов нейрочіпів: цифровых, аналоговых и оптических, что обещают быть волной близкого будущего.

Основные понятия о нейронных сетях

Наиболее часто нейронные сети используются для решения следующих задач:

классификация образов – указание на принадлежность входного образа, представленного вектором признаков, одному или нескольким предварительно определенным классам;

кластеризация – классификация образов при отсутствии учебной выборки с метками классов;

прогнозирование – предвидение значения в(tn+1) при известной последовательности в(t1), в(t2). в(tn);

оптимизация – нахождение решения, которое удовлетворяет систему ограничений и максимізує или минимизирует целевую функцию. Память, которая адресуется по содержанию (ассоциативная память), – память, доступная при указании заданного содержания;

управление – расчет такого входного влияния на систему, за которое система работает по желаемой траектории.

Структурной основой нейронной сети является формальный нейрон. Нейронные сети возникли из попыток воспроизвести способность биологических систем учиться, моделируя низкоуровневую структуру мозга. Для этого в основу нейромережвої модели возлагается элемент, который имитирует в первом приближении свойства биологического нейрона – формальный нейрон (дальше просто нейрон). В организме человека нейроны это особенные клетки, способные распространять электрохимические сигналы.

Нейрон имеет разветвленную структуру для введения информации (дендрити), ядро и выход, который разветвляется (аксон). Будучи соединенными определенным образом, нейроны образуют нейронную сеть. Каждый нейрон характеризуется определенным текущим состоянием и имеет группу синапсов – однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон – исходную связь данного нейрона, за которым сигнал (нарушение или торможение) поступает на синапсы следующих нейронов (рис. 8.1).

Рис. Ошибка! Текст указанного стиля в документе отсутствует.. 9. Структура формального нейрона.

Каждый синапс характеризуется величиной синапсичного связи или его весом wi, что по физическому содержанию эквивалентная электрической проводимости.

Текущее состояние (уровень активации) нейрона определяется, если взвешена сумма его входов:

Ошибка! Объект не может быть создан из кодов полей редактирования. (1)

где множественное число сигналов, обозначенных x1, x2., xn, поступает на вход нейрона, каждый сигнал увеличивается на соответствующий вес w1, w2., wn, і формирует уровень его активации – S. Выход нейрона является функцией уровня его активации:

Ошибка! Объект не может быть создан из кодов полей редактирования. (2)

При функционировании нейронных сетей выполняется принцип параллельной обработки сигналов. Он достигается путем объединения большого числа нейронов в так называемые слои и соединения определенным образом нейронов разных слоев, а также, в некоторых конфигурациях, и нейронов одного слоя между собой, причем обработка взаимодействия всех нейронов ведется послойно.

Рис. Ошибка! Текст указанного стиля в документе отсутствует.. 10. Архитектура нейронной сети с n нейронами во входном и тремя нейронами в исходном слое (однослойный персептрон).

Как пример самой простой нейронной сети, рассмотрим однослойный персептрон с n нейронами во входном и тремя нейронами в исходном слое (рис. 8.2). Когда на n входов поступают какие-то сигналы, они проходят по синапсам на 3 исходных нейрона. Эта система образует единственный слой нейронной сети и выдает три выходных сигналы:

Очевидно, что все взвешивающие коэффициенты синапсов одного слоя нейронов можно свести в матрицу wj, каждый элемент какой wij задает величину синапсичного связи і-го нейрона входного и j-го нейрона выходного слоев (3).

Ошибка! Объект не может быть создан из кодов полей редактирования. (3)

Таким образом, процесс, который происходит в нейронной сети, может быть записан в матричной форме:

Ошибка! Объект не может быть создан из кодов полей редактирования. (4)

где x и в – соответственно входной и исходный векторы, f(v) – активационная функция, которая применяется поэлементно к компонентам вектора v.

Выбор структуры нейронной сети осуществляется в соответствии с особенностями и сложностью задачи. Для решения некоторых отдельных типов задач уже существуют оптимальные конфигурации. Если же задача не может быть сведена к ни одному из известных типов, разработчику придется разрешать сложную проблему синтеза новой конфигурации.

Возможна такая классификация существующих нейромереж.:

По типу входной информации:

сети, которые анализируют двоичную информацию;

сети, которые оперируют с вещественными числами.

За методом учебы:

сети, которые необходимо научить перед их приложением;

сети, которые не нуждаются в предыдущей учебе, способны самонавчатися в процессе работы.

За характером распространения информации:

однонаправленные, в которых информация распространяется только в одном направлении от одного слоя к другому;

рекуррентные сети, в которых исходный сигнал элемента может опять поступать на этот элемент и другие элементы сети этого или предыдущее рдел как входной сигнал.

По способу превращения входной информации:

автоассоциативные;

гетероасоціативні.

Развивая дальше вопрос о возможной классификации нейронных сетей, важно отметить существование бинарных и аналоговых сетей. Первые из них оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический нуль (" заторможено" состояние) и логическая единица (" возбуждено" состояние). Еще одна классификация разделяет нейронные сети на синхронных и асинхронных. В первом случае в каждый момент времени свое состояние изменяет лишь один нейрон. Во втором – состояние изменяется сразу у целой группы нейронов, как правило, у всего слоя.

Сети также можно классифицировать за числом слоев. На рис. 8.3 представлен двухслойный персептрон, полученный из персептрона из черт. 8.2 путем добавления второго слоя, который состоит из двух нейронов.

Рис. Ошибка! Текст указанного стиля в документе отсутствует.. 11. Архитектура нейронной сети с однонаправленным распространением сигнала – двухслойный персептрон.

Если рассматривать работу нейронных сетей, которые решают задачу классификации образов, то в целом их работа сводится к классификации (обобщение) входных сигналов, которые принадлежат n-мерному гиперпространству, по некоторому числу классов. С математической точки зрения это происходит путем разбивки гиперпространства гиперплоскостью (запись для случая однослойного персептрона)

Ошибка! Объект не может быть создан из кодов полей редактирования. (5),

где k=1...m – номер класса.

Каждая полученная область является областью определения отдельного класса. Число таких классов для одной нейронной сети персептронного типа не превышает 2m, где m – число выходов сети. Однако не все из них могут быть распределены данной нейронной сетью.

Например, однослойный персептрон, который состоит из одного нейрона с двумя входами, не способен разделить плоскостью (двумерное гиперпространство) на две полплоскости так, чтобы осуществить классификацию входных сигналов по классам A и B в случае, представленном в таблице 8.1, – «задача ИЛИ, что не разделяется».

Таблица Ошибка! Текст указанного стиля в документе отсутствует.. 2

x1 x2      
    А В
    В А
             

Уравнение сети для этого случая

Ошибка! Объект не может быть создан из кодов полей редактирования. (6)

является уравнением прямой (одномерной гиперплоскости), что ни при каких условиях не может разделить плоскость так, чтобы точки из множества входных сигналов, которые принадлежат разным классам, оказались по разные стороны от прямой.






© 2023 :: MyLektsii.ru :: Мои Лекции
Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав.
Копирование текстов разрешено только с указанием индексируемой ссылки на источник.