Кластерный анализ

     Часто EM-алгоритм используют для разделения смеси гауссиан.

     Кластерный  анализ предназначен для разбиения совокупности объектов на однородные группы (кластеры или классы).

     По  сути это задача многомерной классификации  данных.

     Существует  около 100 разных алгоритмов кластеризации, однако наиболее часто используемые: иерархический кластерный анализ и кластеризация методов k-средних.

      Где применяется кластерный анализ? В  маркетинге это сегментация конкурентов  и потребителей. В менеджменте: разбиение  персонала на различные по уровню мотивации группы, классификация  поставщиков, выявление схожих производственных ситуаций, при которых возникает брак. В медицине - классификация симптомов, пациентов, препаратов. В социологии - разбиение респондентов на однородные группы. По сути кластерный анализ хорошо зарекомендовал себя во всех сферах жизнедеятельности человека.

      Прелесть  данного метода - он работает даже тогда, когда данных мало и невыполняются  требования нормальности распределений  случайных величин и другие трбования  классических методов статистического  анализа. 

  

  
 
 
 
 
 
 
 
 
 

      Поясним суть кластерного анализа, не прибегая к строгой терминологии: допустим, Вы провели анкетирование сотрудников и хотите определить, каким образом можно наиболее эффективно управлять персоналом. То есть Вы хотите разделить сотрудников на группы и для каждой из них выделить наиболее эффективные рычаги управления. При этом различия между группами должны быть очевидными, а внутри группы респонденты должны быть максимально похожи.

      Для решения задачи предлагается использовать иерархический кластерный анализ. В  результате мы получим дерево, глядя на которое мы должны определиться на сколько классов (кластеров) мы хотим разбить персонал. Предположим, что мы решили разбить персонал на три группы, тогда для изучения респондентов, попавших в каждый кластер получим табличку примерно следующего содержания: 

Кластер Муж 30-50 лет >50 лет Рук. Мед Льготы з/п стаж Образов.

1 80% 90% 5% 70% 10% 12% 95% 30% 30%

2 40% 35% 45% 13% 60% 70% 60% 40% 20%

3 50% 70% 10% 5% 30% 20% 70% 20% 50% 

      Поясним, как сформирована приведенная выше таблица:

      В первом столбце расположен номер  кластера - группы, данные по которой  отражены в строке. Например, первый кластер на 80% составляют мужчины. 90% первого кластера попадают в возрастную категорию от 30 до 50 лет, а 12% респондентов считает, что льготы очень важны. И так далее.

      Попытаемся  составить портреты респондентов каждого  кластера.

        Первая группа - в основном мужчины  зрелого возраста, занимающие руководящие  позиции. Соцпакет (MED, LGOTI, TIME-своб  время) их не интересует. Они  предпочитают получать хорошую зарплату, а не помощь от работодателя.

      Группа  два наоборот отдает предпочтение соцпакету. Состоит она, в основном, из людей "в возрасте", занимающих невысокие  посты. Зарплата для них безусловно важна, но есть и другие приоритеты.

      Третья  группа наиболее "молодая". В отличие от предыдущих двух, очевиден интерес к возможностям обучения и профессионального роста. У этой категории сотрудников есть хороший шанс в скором времени пополнить первую группу.

      Таким образом, планируя кампанию по внедрению эффективных методов управления персоналом, очевидно, что в нашей ситуации можно увеличить соцпакет у второй группы в ущерб, к примеру, зарплате. Если говорить о том, каких специалистов следует направлять на обучение, то можно однозначно рекомендовать обратить внимание на третью группу.

      Data Mining (рус. добыча  данных, интеллектуальный  анализ данных, глубинный  анализ данных) — собирательное название, используемое для обозначения совокупности методов обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Термин введён Григорием Пиатецким-Шапиро в 1989 году.

      Английское  словосочетание «Data Mining» пока не имеет  устоявшегося перевода на русский язык. При передаче на русском языке используются следующие словосочетания: просев информации, добыча данных, извлечение данных, а, также, интеллектуальный анализ данных. Более полным и точным является словосочетание обнаружение знаний в базах данных (knowledge discovering in databases, KDD).

      Основу  методов Data Mining составляют всевозможные методы классификации, моделирования  и прогнозирования, основанные на применении деревьев решений, искусственных нейронных  сетей, генетических алгоритмов, эволюционного программирования, ассоциативной памяти, нечеткой логики. К методам Data Mining нередко относят статистические методы (дескриптивный анализ, корреляционный и регрессионный анализ, факторный анализ, дисперсионный анализ, компонентный анализ, дискриминантный анализ, анализ временных рядов). Такие методы, однако, предполагают некоторые априорные представления об анализируемых данных, что несколько расходится с целями Data Mining (обнаружение ранее неизвестных нетривиальных и практически полезных знаний).

      Одно  из важнейших назначений методов Data Mining состоит в наглядном представлении  результатов вычислений, что позволяет  использовать инструментарий Data Mining людьми, не имеющих специальной математической подготовки. В то же время, применение статистических методов анализа данных требует хорошего владения теорией вероятностей и математической статистикой.

      Методы Data Mining (или, что то же самое, Knowledge Discovery In Data, сокращённо, KDD) лежат на стыке  баз данных, статистики и искусственного интеллекта.

      Исторический  экскурс

      Область Data Mining началась с семинара (англ. workshop), проведёного Григорием Пятецким-Шапиро в 1989 году.

      Ранее, работая в компании GTE Labs, Григорий Пятецкий-Шапиро заинтересовался вопросом: можно ли автоматически находить определённые правила, чтобы ускорить некоторые запросы к крупным базам данных. Тогда же было предложено два термина — Data Mining (который следует переводить как «раскопка данных») и Knowledge Discovery In Data (который следует переводить как «открытие знаний в базах данных»).

      В 1993 году вышла первая рассылка «Knowledge Discovery Nuggets», а в 1994 году был создан один из первых сайтов по Data Mining.

      Постановка  задачи

      Первоначально, задача ставится следующим образом:

имеется достаточно крупная база данных;

предполагается, что в базе данных находятся некие  «скрытые знания».

Необходимо  разработать методы обнаружения  знаний, скрытых в больших объёмах  исходных «сырых» данных.

      Что означает «скрытые знания»? Это должны быть обязательно знания:

• ранее не известные — то есть такие знания, которые должны быть новыми (а не подтверждающими какие-то ранее полученные сведения);
• нетривиальные — то есть такие, которые нельзя просто так увидеть (при непосредственном визуальном анализе данных или при вычислении простых статистических характеристик);
• практически полезные — то есть такие знания, которые представляют ценность для исследователя или потребителя;
• доступные для интерпретации — то есть такие знания, которые легко представить в наглядной для пользователя форме и легко объяснить в терминах предметной области.

      Этими требования во многом определяют суть методов Data mining и то, в каком виде и в каком соотношении в  технологии Data mining используются системы  управления базами данных, статистические методы анализа и методы искусственного интеллекта.

      Data mining и базы данных

      Методы Data mining имеет смысл применять  только для достаточно больших баз  данных. В каждой конкретной области  исследований существует свой критерий «великости» базы данных. 

      Развитие технологий баз данных сначала привело к созданию специализированного языка — языка запросов к базам данных. Для реляционных баз данных — это язык SQL, который предоставил широкие возможности для создания, изменения и извлечения хранимых данных. Затем возникла необходимость в получении аналитической информации (например, информации о деятельности предприятия за определённый период), и тут оказалось, что традиционные реляционные базы данных, хорошо приспособленные, например, для ведения оперативного учёта (на предприятии), плохо приспособлены для проведения анализа. это привело, в свою очередь, к созданию т.н. «хранилищ данных», сама структура которых наилучшим способом соответствует проведению всестороннего математического анализа.

      Data mining и статистика

      В основе методов Data mining лежат математические методы обработки данных, включая  и статистические методы (). В промышленных решениях, нередко, такие методы непосредственно  включаются в пакеты Data mining. Однако, следует учитывать, что статистические методы, во-первых, основываются на статистической природе анализируемых явлений (например, обычно постулируют форму распределения случайной величины), а, во-вторых, результаты статистических методов, как правило, являются тривиальными (легко рассчитываются), практически бесполезными (например, всевозможные средние) и трудно интерпретируемыми (те же средние), что полностью расходится с целями и задачами Data mining. Тем не менее, статистические методы используются, но их применение ограничивается выполнением только определённых этапов исследования.

      Data mining и искусственный интеллект

      Знания, добываемые методами Data mining принято  представлять в виде моделей. В качестве таких моделей выступают:

• ассоциативные правила;
• деревья решений;
• кластеры;
• математические функции.

      Методы  построения таких моделей принято  относить к области т.н. «искусственного  интеллекта».

      Задачи

      Задачи, решаемые методами Data Mining, принято разделять  на

описательные (англ. descriptive); предсказательные (англ. predictive).

      В описательных задачах самое главное — это дать наглядное описание имеющихся скрытых закономерностей, в то время как в предсказательных задачах на первом плане стоит вопрос о предсказании для тех случаев, для которых данных ещё нет.

      К описательным задачам относятся:

• Поиск ассоциативных правил или паттернов (образцов).
• Группировка объектов или кластеризация.
• Построение регрессионной модели.

      К предсказательным задачам относятся:

• Классификация объектов (для заранее заданных классов).
• Построение регрессионной модели.

      Алгоритмы обучения

      Для задач классификации характерно «обучение с учителем», при котором  построение (обучение) модели производится по выборке, содержащей входные и  выходные векторы.

      Для задач кластеризации и ассоциации применяется «обучение без учителя», при котором построение модели производится по выборке, в которой нет выходного параметра. Значение выходного параметра («относится к кластеру …», «похож на вектор …») подбирается автоматически в процессе обучения.

      Для задач сокращения описания характерно отсутствие разделения на входные и выходные векторы. Начиная с классических работ К. Пирсона по методу главных компонент, основное внимание уделяется аппроксимации данных.