Обучение нейронной сети

Содержание 

1.Введение…………………………………………………………………………3

1.1.Введение в нейтронные сети…………………………………………………4

1.2. Краткие сведения о нейроне…………………………………………………5

1.3. Искусственный нейрон………………………………………………………8

2.Модели нейронных  сетей………………………………………………………10

2.1.Сети с прямыми  связями……………………………………………………..10

2.1.1.Прямой персептрон……………………………………………………...….10

2.1.2.Многослойный персептрон……………………………………………...…11

2.2.Сети с симметричными  связями………………………. ……………………12

2.2.1.Ансамблевые  нейронные сети…………………………………………..…12

2.2.2.Машина Больцмана………………………………………………………....14

2.3.Сети с латеральным  торможением…………………………………………..15

2.3.1.Карты признаков  Кохонена……………………………………………...…15

2.3.2.Теория адаптивного  резонанса…………………………………………….17

3.Обучение нейронной  сети…………………………………………………...…17

3.1.Нейрокомпьютеры…………………………………………………………....19

3.2.Теоретический……………………………………………………………...…19

3.3.Программный……………………………………………………………...….19

3.4.Программно-аппаратный………………………………………………….…19

3.5.Аппаратный………………………………………………………………...…20

4.Заключение……………………………………………………………………...21

5.Список литературы…………………………………………………………..…22

1.Введение

  В современном мире прогресс производительности программиста достигается в тех  случаях, когда часть интеллектуальной нагрузки берут на себя компьютеры. Одним из способов достигнуть максимального  прогресса в этой области, является "искусственный интеллект", когда  компьютер берет на себя не только однотипные, многократно повторяющиеся  операции, но и сам сможет обучаться.

  Принципиальное  отличие интеллектуальных систем от любых других систем автоматизации  заключается в наличии базы знаний о предметной среде, в которой  решается задача. Неинтеллектуальная система при отсутствии каких-либо входных данных прекращает решение  задачи, интеллектуальная же система  недостающие данные извлекает из базы знаний и решение выполняет. 
 
 
 
 
 
 
 
 
 
 
 

1.1. Введение в нейронные сети

  Постоянно возрастает необходимость в системах, которые способны не только выполнять  однажды запрограммированную последовательность действий над заранее определенными  данными, но и способны сами анализировать  вновь поступающую информацию, находить в ней закономерности, производить  прогнозирование и т.д. В этой области приложений самым лучшим образом зарекомендовали себя так  называемые нейронные сети – самообучающиеся  системы, имитирующие деятельность человеческого мозга.

  Область науки, занимающаяся построением и  исследованием нейронных сетей, находится на стыке нейробиологии, математики, электроники и программирования и называется нейрокибернетикой или нейроматематикой (neurocomputing). Способность нейронной сети к обучению была впервые исследована Дж. Маккаллоком и У. Питсом. В 1943 г. вышла их работа «Логическое исчисление идей, относящихся к нервной деятельности», в которой была построена модель нейрона и сформулированы принципы построения искусственных нейронных сетей. В 1962 г. Ф. Розенблат (Корнельский университет) предложил модель нейронной сети, названную персептроном. В 70 – х годах японским ученым К. Фукушима была предложена другая модель – когнитрон, способная хорошо распознавать сложные образы (иероглифы и т.п.) независимо от поворота и изменения масштаба изображения. В 1982 г. американский биофизик Дж. Хопфилд предложил модель нейронной сети, названную его именем.

  Нейронные сети наиболее эффективны в системах распознавания образов, ассоциативной  памяти, прогнозирования и адаптивного  управления и неэффективны в областях, требующих точных вычислений. На рынке  появляются реализации нейроподобных систем в виде пакетов программ, нейроплат и нейрочипов. Исследованиями в области нейрокомпьютеров занимаются в Японии: фирмы NBC, Nihon Denki, Mitec, Fujitsu, Matsusita, Mitsubishi, Sony, Toshiba, Hitachi; в США: AT&T, IBM, Texas Instruments, Xerox.

1.2. Краткие сведения о нейроне

  Нейрон  – это нервная клетка, состоящая  из тела и отростков, соединяющих  ее с внешним миром.

  

  Рисунок 1 - Биологический нейрон

  Биологический нейрон содержит следующие структурные  единицы:

  Тело  клетки (т) — сома: содержит ядро (я), митохондрии (обеспечивают клетку энергией), другие органеллы, поддерживающие жизнедеятельность  клетки.

  Дендриты (д) – входные волокна, собирают информацию от других нейронов. Активность в дендритах меняется плавно. Длина их обычно не больше 1 мм.

  Мембрана  – поддерживает постоянный состав цитоплазмы внутри клетки, обеспечивает проведение нервных импульсов.

  Цитоплазма  — внутренняя среда клетки. Отличается концентрацией ионов K+, Na+, Ca++ и других веществ по сравнению с внеклеточной средой.

  Аксон (а), один или ни одного у каждой клетки, – длинное, иногда больше метра, выходное нервное волокно клетки. Импульс  генерируется в аксонном холмике (а.х.). Аксон обеспечивает проведение импульса и передачу воздействия на другие нейроны или мышечные волокна (мв). Ближе к концу аксон часто ветвится.

  Синапс (с) – место контакта нервных волокон  — передает возбуждение от клетки к клетке. Передача через синапс почти всегда однонаправленная. Различают  пресинаптические и постсинаптические клетки — по направлению передачи импульса.

  Шванновские клетки (шв.кл). Специфические клетки, почти целиком состоящие из миелина, органического изолирующего вещества. Плотно "обматывают" нервное волокно 250 слоями миелина. Неизолированные места нервного волокна между шванновскими клетками называются перехватами Ранвье (пР). За счет миелиновой изоляции скорость распространения нервных импульсов возрастает в 5 - 10 раз и уменьшаются затраты энергии на проведение импульсов. Миелинизированные волокна встречаются только у высших животных.

  В центральной нервной системе  человека насчитывается от 100 до 1000 типов нервных клеток, в зависимости  выбранной степени детализации. Они отличаются картиной дендритов, наличием и длиной аксона и распределением синапсов около клетки.

  Клетки  сильно связаны между собой. У  нейрона может быть больше 1000 синапсов. Близкие по функциям клетки образуют скопления, шаровидные или параллельные слоистые. В мозгу выделены сотни  скоплений. Кора головного мозга  – тоже скопление. Толщина коры — 2 мм, площадь — около квадратного  фута.

  Нервный импульс (спайк) – процесс распространения возбуждения по аксону от тела клетки (аксонного холмика) до окончания аксона. Это основная единица информации, передаваемая по волокну, поэтому модель генерации и распространения нервных импульсов (НИ) — одна из важнейших в теории НС.

  Импульсы  по волокну передаются в виде скачков  потенциала внутриклеточной среды  по отношению к внешней среде, окружающей клетку. Скорость передачи – от 1 до 100 м/с. Для миелинизированных волокон скорость передачи примерно в 5 – 10 раз выше, чем для немиелинизированных.

  При распространении форма спайка не меняется. Импульсы не затухают. Форма  спайка фиксирована, определяется свойствами волокна и не зависит от того, каким способом создан импульс.

  При воздействии вспышек света постоянной длительности и различной интенсивности  вырабатывались импульсы в соответствующем  зрительном волокне. Было определено, что от интенсивности света зависит  не амплитуда импульсов и их форма, а плотность и общее количество.

 

 

1.2.Искусственный нейрон

  Несмотря  на большое разнообразие вариантов  нейронных сетей, все они имеют  общие черты. Так, все они, так  же, как и мозг человека, состоят  из большого числа связанных между  собой однотипных элементов –  нейронов, которые имитируют нейроны  головного мозга. На рисунке показана схема нейрона. 

  

  Рисунок 2 - Схема нейрона

  Из  рисунка видно, что искусственный  нейрон, так же, как и живой, состоит  из синапсов, связывающих входы нейрона  с ядром; ядра нейрона, которое осуществляет обработку входных сигналов и  аксона, который связывает нейрон с нейронами следующего слоя. Каждый синапс имеет вес, который определяет, насколько соответствующий вход нейрона влияет на его состояние. Состояние нейрона определяется по формуле:

  S = åⁿx_iw_i,

  где

  n – число входов нейрона;

  x_i – значение i-го входа нейрона;

  w_i – вес i-го синапса.

  Затем определяется значение аксона нейрона  по формуле

  Y = f(S),

  где f – некоторая функция, которая называется активационной.

  Самая простая интерпретация выработки  сигнала в аксон – сравнение  суммарного возбуждения с некоторым  пороговым значением. Исходя из этой интерпретации, искусственный нейрон будет иметь схему, показанную на рисунке 3.

  

  Рисунок 3 - Элементы схемы нейрона

  Наиболее  часто в качестве активационной  функции используется так называемый сигмоид, который имеет следующий вид:

   .

  Основное  достоинство этой функции в том, что она дифференцируема на всей оси абсцисс и имеет очень  простую производную:  

  f '(s) = a f(s)(1 – f(s)).

  При уменьшении параметра a сигмоид становится более пологим, вырождаясь в горизонтальную линию на уровне 0,5 при a=0. При увеличении a сигмоид все больше приближается к функции единичного скачка. 
 
 
 
 

2.Модели  нейронных сетей

    Рассматриваемые нами модели нейронных сетей объединены в три группы. Рассматриваются сети персептронного типа, для которых характерно отсутствие обратных связей между нейроподобными элементами, организованными в слои. Отличительной особенностью сетей, являются симметричные (равные по величине и противоположные по направлению) связи между любыми двумя соединенными нейронами. В нейросетевых архитектурах, между нейронами одного слоя имеются постоянные тормозящие связи (латеральное торможение).

2.1.Сети  с прямыми связями

2.1.1.Прямой  персептрон

    В середине 50-х годов была предложена одна из первых моделей нейронных сетей, которая вызвала большой интерес из-за своей способности обучаться распознаванию простых образов. Эта модель - персептрон - состоит из бинарных нейроподобных элементов и имеет простую топологию, что позволило достаточно полно проанализировать ее работу и создать многочисленные физические реализации. Типичный персептрон состоит из трех основных компонент:

матрицы бинарных входов r1, r2, ..., rn (сенсорных нейронов или "сетчатки", куда подаются входные образы);

набора бинарных нейроподобных элементов x1, x2, ..., xm (или предикатов в наиболее общем случае) с фиксированными связями к подмножествам сетчатки ("детекторы признаков");

бинарного нейроподобного элемента с модифицируемыми связями к этим предикатам ("решающий элемент").

   На самом деле число решающих элементов выбирают равным количеству классов, на которое необходимо разбить предъявляемые персептрону образы.

    Таким образом, модель персептрона характеризуется наличием только прямых связей, один из слоев которых является модифицируемым. В постейшем случае, когда n = m и xi = ri, детекторы признаков могут рассматриваться как входной слой. Тогда персептрон становится одним бинарным нейроподобным элементом. Это классическая модель М-входового нейрона, или простой персептрон Розенблатта. В общем случае каждый элемент xi может рассматриваться как булева функция, зависящая от некоторого подмножества сетчатки. Тогда величина выходных сигналов этих обрабатывающих элементов является значением функции xi, которое равно 0 или 1.