Оценка  согласованности  мнений экспертов

Фрагмент  статьи "Методы экспертной оценки в  управлении персоналом":

Использование коэффициента конкордации, для оценки согласованности мнений экспертов.

Коэффициент конкордации Кендала используется для определения взаимосвязи (согласованности) оценок экспертов.

Значение  коэффициента конкордации может  находится в диапазоне от 0 до 1. Если W=0, считается, что мнения экспертов  не согласованны. Если W=1, то оценки экспертов  полностью согласованны.   

Очень часто, в литературе, описание коэффициент конкордации Кендала, ограничивается формулами, в которых не учитываются связанные ранги, а критерий ограничивается требованием стремления W к единице, что существенно затрудняет его практическое использование. Тогда как в абсолютном выражении W может оказаться очень малым, но его значение будет статистически значимым для проверки гипотезы о равномерном распределении рангов (согласии ранжировок). Вычисление коэффициента конкордации без введения поправочных коэффициентов и проверки на статистическую значимость, может привести к существенным ошибкам.

Можно выделить 2 ограничения в использовании  коэффициент конкордации Кендала:

• невозможность рассчитать согласованность мнений экспертов по каждой переменной в отдельности.
• коэффициент измеряет согласованность мнений в смысле их коррелированности, но не совпадения.

Для примера, рассчитаем коэффициент конкордации  и оценим согласованность мнений экспертов относительно необходимости  включения в профиль должности  торгового представителя отобранных 13 ключевых компетенций, в программах Statistica и SPSS.

Пример (Statistica).

 

1. Так, нами  была сформирована выборка из 4 экспертов, задачей которых являлось  оценить по 5 балльной шкале необходимость  включения в профиль должности  торгового представителя 13 компетенций. 

2. Для того, чтобы рассчитать коэффициент  конкордации нам необходимо в  программе Statistica создать новый  лист и построить таблицу где  в качестве переменных (Variables) будут выступать оцениваемые компетенции, а в качестве случаев (Case) эксперты.

3. Запускаем  модуль «Непараметрическая статистика  и распределения» и выбираем  опцию «Anova Фридмана и конкордация  Кендалла.

4. В окне  переменны выбираем все 13 компетенций.  Нажимаем на кнопку «Summary». 

4. В результате  вы получите следующую таблицу результатов: 

Коэффициент конкордации равен 0,26376. Много это  или мало? Из этой таблицы следует, что различия во мнениях экспертов  в данном примере значимы p=0.39418.

Пример (SPSS).

1. Формируем  точно такую же таблицу как  и в описанном выше примере,  где в качестве 

переменных (Variables) будут выступать оцениваемые  компетенции, а в качестве случаев (Case) эксперты 

2. В меню «Analyze» выбираем опцию «K Related Samples»

3. В открывшемся  окне выбираем все переменные (компетенции) и переносим их  в окно «Test Variables», выбираем  критерий «Kenadall’s W» и нажимаем  на кнопку ОК.

4. В результате  вы получите следующую таблицу:

Как мы можем  видеть из представленной таблице, значение коэффициента конкордации W = 0.264, а уровень значимости p=0.394.  

Данные полученные в программе SPSS, аналогичны данным полученным в программе Statistica.

Таким образом, мы можем сделать вывод о том, что эксперты расходятся во мнениях  относительно необходимости включения в профиль должности торгового представителя всех отобранных компетенций.

К сожалению, коэффициент конкордации не позволяет  ответить на вопрос, какие из отобранных компетенций оставить, а какие  исключить. Для ответа на этот вопрос можно использовать значения коэффициента вариации.

Полностью со статьей "Метод экспертной оценки в управлении персоналом" вы сможете ознакомиться в 1-м выпуске "журнала HR-Portal.ru". В статье рассмотрен перечень требований, которым должны отвечать эксперты, приведен ряд методов оценки достоверности полученных результатов, рассмотрена процедуры присвоения весов, построения рейтингов, а также приведены методы оценки степени согласованности мнений экспертов

Методы  экспертных оценок 

1. Основные понятия метода экспертных оценок. 
2. Этапы подготовки и проведения экспертизы. 
3. Получение экспертных оценок. Понятие шкалы. Типы шкал. 
4. Способы измерения объектов. 
5. Обработка результатов опроса экспертов.

  5.1 Формирование обобщенной оценки.

  5.2 Определение относительных весов объектов.

  5.3 Установление согласованности мнений экспертов.

   

   1. Основные понятия  метода экспертных  оценок 

   В случаях чрезвычайной сложности  проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, - к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок. 

   Эксперты (от латинского "expertus" - опытный) – это лица, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению.

   Процедура получения оценок от экспертов называется экспертизой. 

   Метод экспертных оценок включает в себя три составляющие.

   1. Интуитивно-логический анализ задачи. Строится на логическом мышлении и интуиции экспертов, основан на их знании и опыте. Этим объясняется высокий уровень требований, предъявляемых к экспертам.

   2. Решение и выдача количественных или качественных оценок. Эта процедура представляет собой завершающую часть работы эксперта. Им формируется решение по рассматриваемой проблеме и дается оценка ожидаемых результатов.

   3. Обработка результатов решения. Полученные от экспертов оценки должны быть обработаны с целью получения итоговой оценки проблемы. В зависимости от поставленной задачи изменяется количество выполняемых на этом этапе расчетных и логических процедур. Для обеспечения оперативности и минимизации ошибок на данном этапе целесообразно использование вычислительной техники. 

   В условиях недостаточно полной и недостоверной  информации методы экспертных оценок дают вполне приемлемые результаты. В настоящее время, характеризующееся ускорением научно-технического прогресса, появлением новых проблем организационного, технического, экономического, социально-психологического плана, сфера применения метода расширяется. 

   Приведем  некоторые примеры задач, при решении которых могут использоваться экспертные оценки:

   ·  выбор вариантов технического и социально-экономического развития предприятия;

   ·  отбор проектов при проведении тендеров;

   ·  отбор заявок на получение грантов и разработку научных тем;

   ·  формирование тематики НИР и ОКР;

   ·  определение стратегических целей фирмы и т.п. 

   Для решения подобных задач могут  использоваться различные формы  проведения экспертизы:

   ·  дискуссия;

   ·  анкетирование;

   ·  интервьюирование;

   ·  «мозговой штурм»;

   ·  совещание;

   ·  деловая игра и др.

   Иногда  различные формы используются в  комплексе.

   Одной из наиболее перспективных форм проведения экспертного оценивания считается  метод Дельфы.

   Метод Дельфы - это набор процедур, выполняемых  в определенной последовательности с целью формирования группового мнения о проблеме, характеризующейся недостаточностью информации для использования других методов.

   Метод Дельфы - это метод группового анкетирования. Используемые процедуры характеризуются  тремя основными чертами: анонимностью, регулируемой обратной связью и групповым ответом. Обратная связь осуществляется за счет проведения нескольких туров опроса, причем результаты каждого тура обрабатываются статистическими методами и сообщаются экспертам. Во втором и последующих турах эксперты аргументируют свои ответы. Таким образом, в последующих турах эксперты могут пересмотреть свои первоначальные ответы. От тура к туру ответы экспертов носят все более устойчивый характер и, в конце концов, перестают изменяться, что служит основанием для прекращения опросов.

   Практика  показывает, что обычно проводится три-четыре тура опросов, так как  в дальнейшем оценки перестают изменяться. 

   2. Этапы подготовки  и проведения экспертизы 

   Качество  получаемых экспертных оценок в значительной степени определяется подготовкой экспертизы, а также применяемыми методами обработки информации, получаемой от экспертов.

   Единых  правил подготовки и  проведения экспертизы нет.

   Однако  можно выделить основные этапы ее подготовки и проведения. К ним  относятся:

   · формулировка цели экспертного анализа;

   ·  формирование группы организаторов экспертизы;

   ·  разработка процедур проведения экспертной оценки;

   ·  подбор экспертов;

   ·  получение экспертных оценок;

   ·  обработка результатов опроса и анализ полученных данных;

   ·  установление степени достижения цели экспертизы.

   С точки зрения изучаемой нами дисциплины наибольший интерес представляют два  этапа: получение экспертных оценок, обработка результатов опроса и  анализ полученных данных. 

   3. Получение экспертных  оценок. Понятие шкалы. Типы шкал 

   Рациональное  использование информации, получаемой от экспертов, возможно при условии  преобразования ее в форму, удобную  для дальнейшего анализа.

   Формализация  информации, получаемой от экспертов, должна быть направлена на подготовку решения таких задач, которые не могут быть в полной мере описаны математически.

   Одна  из главных трудностей при оценивании состоит в том, что помимо явлений, объектов, факторов, состояние которых  может быть выражено количественно (в руб., $, кг, км, % и т.п.), приходится оценивать качественные факторы, уровень которых нельзя точно определить. Часть информации, не поддающуюся количественному измерению, необходимо представить в виде косвенных оценок.

   Если  эксперт способен сравнить и оценить  какие-либо объекты, явления, факторы, варианты действий, приписав каждому из них какое-либо число, то говорят, что он обладает определенной системой предпочтений.

   В зависимости от того, по какой шкале заданы эти предпочтения, экспертные оценки содержат больший или меньший объем информации и обладают различной способностью к математической формализации.

   Шкала – это инструмент (принятая система правил) оценки (измерения) каких-либо объектов или явлений.