Нейронные сети Кохонена

    

    Для лучшего понимания мы подготовили  пример, разъясняющий общие подходы  к анализу самоорганизующихся карт. Подадим на два входа карты (размером 50×50 нейронов) набор случайных чисел  от 0 до 50 общим числом 500 примеров. После  проведения обучения такой карты  Кохонена, все семейство карт будет  иметь вид изображенный на рисунке.

    Карта частот имеет равномерное распределение  примеров по поверхности карты, что  объясняется равномерным распределением входных примеров и качеством  обучения карты.

    Для нас в этом примере представляет интерес раскраска карты входов. Раскраска каждой из них линейна  и постоянна по одной из граней карты. Причем обе карты входов имеют  одинаковую раскраску, но развернуты друг относительно друга на 90 градусов. Как  это можно трактовать? При значении 1-го входа равного 0 (темно синяя  полоса на первой карте), 2-й вход может  принимать весь спектр значений от 0 (темно синий) до 50 (темно красный). Это соответствует входному распределению  данных (пара независимых равномерно распределенных величин). Таким образом, самоорганизующаяся карта смогла правильно  отобразить взаимное распределение  двух входов карты.

    Более полную информацию по теории самоорганизующихся карт и методам ее применения можно  получить из новой книги издательства «Альпина» — Гвидо Дебок «Виазулизация финансовых данных с помощью самоорганизующихся карт Кохонена» либо на семинарах ТОРА-Центр, посвященных нейронным технологиям. 

    Карта выходов нейронов

    

    Выходы  нейронов карты Кохонена напоминают топографическую карту. Координаты этой карты определяют положение  одного нейрона. Например, координаты 12:34 описывают нейрон, находящийся  на пересечении 12 столбца с 34 рядом  в матрице нейронов. Величина выхода нейрона по аналогии с географическими  картами трактуется как высота точки.

    Карты Кохонена, также как и географические карты, можно отображать либо в двухмерном, либо в трехмерном виде. В двухмерном виде карта раскрашивается в соответствии с уровнем выхода нейрона. Для более высоких значений обычно используются светлые тона, а для низких значений — темные.

    Карта выходов является главной картой в анализе карт Кохонена. Именно на нее проецируется взаимное расположение исследуемых данных. Схожие входные  данные образуют на карте кластеры — замкнутые области, состоящие  из нейронов с одинаковыми значениями выходов. Как правило, ярко выраженные кластеры в данных имеют четкие границы  с другими областями карты. В  трехмерном виде это выглядит как  крутой склон холма. 

    Карта частот

    

    После завершения обучения каждый входной  пример попадает в «свой» нейрон.

    При этом в некоторые нейроны не попадет  ни одного примера, а в некоторые  попадет несколько примеров. Распределение  обучающих примеров по нейронам очень  показательно и отображается на карте  частот.

    В общем случае входные примеры  равномерно распределяются по карте. Но если в данных есть ярко выраженные группы, то примеры распределяются неравномерно, образуя кластеры. Кластером может быть или обособленная группа из нескольких нейронов, в которую попало некоторое число входных примеров, или отдельный нейрон, в который попало большое число входных примеров. 

    Карта входов нейронов

    

    Как говорилось выше, при анализе карт Кохонена проводится оценка не только выходов нейронов, но также и весов  нейронов. Для каждого входа нейрона  рисуется своя карта, которая раскрашивается в соответствие со значением соответствующего веса нейрона.

    У нейронной сети, обучаемой с учителем, веса нейронов не имеет физического  смысла и не используются в анализе. При обучении же без «учителя», веса нейронов подстраиваются под точные значения входных переменных и отражают их внутреннюю структуру. Для идеально обученной нейронной сети вес  нейрона равен соответствующей  компоненте входного примера.

    Обычно  анализируют одновременно несколько  карт входов. Сначала на одной карте  выделяют области одинакового цвета. В этой области группируются входные  примеры, имеющие одинаковое значение соответствующего входа. Далее нейроны  из этой области изучаются на других картах на предмет цветового распределения. 
 
 
 

    Взаимосвязь между картами

    

    При работе с картами Кохонена важно  понимать, что все рассмотренные  выше карты — это разные раскраски  одних и тех же нейронов. При  этом каждый обучающий пример имеет  одно и то же расположение на каждой из рассмотренных карт. Любой бар  на графике цены имеет «свое» место  на всех картах.

    Анализ  финансовых рядов предполагает одновременный  просмотр карты и графика цен (бары и свечки), для соотнесения  точки на карте и графике.

 

    

    ЭКСПЕРЕМЕНТАЛЬНАЯ ЧАСТЬ 

    2.1 Обучение без учителя: нейросети Кохонена 

    2.1.1 Формулировка задачи 

    Пусть имеется таблица произвольных гидробиологических наблюдений X размерностью m > 1.

    Рассмотренный в предыдущих разделах алгоритм обучения нейронной сети с помощью процедуры  обратного распространения подразумевал наличие некоего внешнего классификатора (как правило, человека), предоставляющего сети как входные, так и целевые  выходные образы. Алгоритмы, пользующиеся подобной концепцией, называются алгоритмами обучения с учителем.

    В то же время вся глава 7 была посвящена  задаче кластерного анализа –  алгоритмам без учителя – разбиению множества объектов на заданное или неизвестное число классов на основании некоторого априорного математического критерия качества классификации, отражающего в той или иной мере следующие неформальные требования:

    - внутри групп объекты должны быть тесно связаны между собой;

    - объекты разных групп должны быть далеки друг от друга;

    - при прочих равных условиях распределение объектов по группам должно быть равномерным.

    Главная черта, делающая привлекательным обучение без учителя, – это его "самостоятельность", а возможная область применения состоит в обнаружении новых  явлений. Естественным оказалось проникновение  нейросетевых методов и в эту область моделирования.

    Рекомендуемая литература: [Кохонен, 1982; Kohonen, 1982; Уоссермен, 1992; Нейронные сети.., 2001] 

    Математический  лист 

    Самоорганизующиеся  карты (Self Organizing Maps – SOM), разработанные Т. Кохоненом [Kohonen, 1982], представляют собой мощный аналитический инструмент, объединяющий в себе две основные парадигмы анализа – кластеризациию и проецирование, т.е. визуализацию многомерных данных на плоскости. Сеть Кохонена распознает кластеры в многомерных обучающих данных и относит все данные к тем или иным кластерам, используя алгоритм проецирования с сохранением топологического подобия. При этом те элементы выборки, которые находятся в относительной близости в исходном многомерном пространстве, оказываются рядом и в пространстве с более низкой размерностью.

    Разумеется, при любой попытке свернуть информацию об объекте из m-мерного пространства в точку на плоскости могут быть потеряны некоторые детали, однако, такой прием часто бывает полезен, так как он позволяет визуализировать данные, которые никаким иным способом проанализировать невозможно. Если, например, сеть встретится с набором данных, не похожим ни на один из известных образцов, то она не сможет классифицировать такое наблюдение и тем самым выявит его новизну.

    Сеть  Кохонена имеет всего два слоя: входной и выходной, составленный из радиальных нейронов упорядоченной структуры (выходной слой называют также слоем топологической карты). Нейроны выходного слоя располагаются в узлах двумерной сетки с прямоугольными или шестиугольными ячейками. Количество нейронов в сетке определяет степень детализации результата работы алгоритма, и, в конечном счете, от этого зависит точность обобщающей способности карты.

    Процесс обучения, как и в случае обучения с учителем, заключается в подстраивании весов синапсов методом последовательных приближений на основании их значений от предыдущей итерации. Обучение по алгоритму Кохонена сводится к минимизации разницы между входными сигналами нейрона, поступающими с выходов нейронов предыдущего слоя y_i^(n-1), и весовыми коэффициентами его синапсов:

     , (9.23)

    где t обозначает номер эпохи (итерации).

    Полный  алгоритм обучения будет выглядеть  так.

1. На стадии инициализации всем весовым коэффициентам присваиваются небольшие случайные значения.
2. На входы сети подается входной образ, и сигналы возбуждения распространяются в выходном слое согласно принципам классических прямопоточных сетей, то есть для каждого нейрона рассчитывается взвешенная сумма его входов, к которой затем применяется активационная (передаточная) функция нейрона, в результате чего получается его выходное значение y_i⁽ⁿ⁾, i=0,...,M_i -1, где M_i – число нейронов в слое i; n=0,...,N - 1, а N – число слоев в сети.
3. Из всего выходного слоя выбирается нейрон, значения синапсов которого максимально походят входному образу, и для него осуществляется подстройка весов синапсов с применением формулы (9.23). Эта, так называемая, аккредитация может сопровождаться "затормаживанием" всех остальных нейронов слоя и введением выбранного нейрона в насыщение. Иными словами, в ходе обучения модифицируется не только нейрон-"победитель", но, в меньшей степени, и его соседи.
4. Цикл повторяется с шага 2, где попеременно предъявляются все образы из входного набора пока выходные значения сети не будут стабилизированы с заданной точностью.

    Оценка  выигравшего нейрона на шаге 3 может  осуществляться с использованием любого алгоритма k-ближайших соседей (например, путем расчета скалярных произведений векторов весовых коэффициентов с вектором входных значений и максимальное произведение будет указывать на выигравший нейрон).

    В результате итеративной процедуры  обучения сеть организуется таким образом, что каждому входному измерению, заданному в m-мерном пространстве исходных признаков, будет соответствовать ячейка-"победитель" на двумерной решетке топологического слоя сети. Для визуализации структуры кластеров, полученных в результате обучения карты, применяется унифицированная матрица расстояний. Элементы матрицы определяют расстояние между весовыми коэффициентами каждого нейрона и его ближайшими соседями. Большое значение расстояния говорит о том, что данный нейрон сильно отличается от окружающих и относится к другому классу.

    Основная  трудность применения сетей Кохонена, как и в случае факторного анализа, заключается в смысловой интерпретации  топологической карты и увязывании ее отдельных участков с некоторыми конкретными обобщениями из предметной области.

    Результаты  расчетов

    Сформируем  выборку из 88 наблюдений, выполненных  на 15 станциях р. Сок. В качестве конкретных признаков, описывающих эти измерения, используем показатели обилия по 6 основным таксономическим группам хирономид (отдельно по подсемействам Orthocladiinae, Tanypodinae, Diamesinae, Prodiamesinae и трибам Chironomini и Tanytarsini), а также индексы Шеннона, Вудивисса и Пареле.

    Выполним  обучение самоорганизующейся сети с  выходным топологическим слоем 10х10 ячеек  и представим на рис. 9.13 серию карт Кохонена для рассматриваемого примера. Каждая карта представляет собой  отображение выходного слоя нейронов, расположенных в узлах двумерной  координатной сетки с прямоугольными или шестиугольными ячейками (шестиугольники дают более корректные результаты, т.к. расстояние между центрами ячеек  ближе к евклидову, чем между центрами прямоугольников). Для визуализации карт будем применять градации серого цвета, т.е. чем больше значение отображаемого показателя, тем темнее прорисовывается связанный с ним узел. Полученный набор раскрасок может использоваться для анализа закономерностей, имеющихся между компонентами набора данных.