Математические методы анализа экспертных оценок

Определение согласованности мнений экспертов  производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Существует  ряд методов проверки согласованности. Статистические методы проверки зависят  от математической природы ответов экспертов. Соответствующие статистические теории весьма трудны, если эти ответы - ранжировки или разбиения, и достаточно просты, если ответы - результаты независимых парных сравнений.

Оценить согласованность мнений экспертов  можно, например, по величине дисперсионного коэффициента конкордации:

,

где w – число экспертов;

      n – число объектов;

     – оценка математического ожидания совокупности экспертных ранжировок 

 – сумма рангов, данных  одним экспертом по всем объектам;

Коэффициент конкордации варьируется от нуля до единицы. При этом, чем выше степень  согласованности экспертных мнений, тем больше значение S, т.е. 0 – полная несогласованность, 1 – полное единодушие.

Рассмотрим  пример использования данного коэффициента.

Необходимо  определить степень согласованности  мнений пяти экспертов, результаты ранжирования которыми семи объектов приведены в  таблице: 

 
Таблица 1. Данные для оценки согласованности мнений пяти экспертов

Оценка  математического ожидание в данном случае равна 20, а сумма квадратов  отклонений от среднего значение – 630.

Определим величину коэффициента конкордации: 

 

Для того, чтобы проверить значим ли полученный коэффициент, используют критерий . Расчетная статистика для проверки имеет вид: , ее сравнивают с критическим значением (его можно найти при помощи соответствующих таблиц или MS Excel). Итак, проверим значимость полученного выше коэффициента S=0,9 . 

 

Следовательно, коэффициент S=0,9 является значимым, т.е. можно сделать вывод, что экспертные мнения согласованы.

Необходимо  учесть, что наличие связных рангов приводит к смещению коэффициента, в этом случае коэффициент конкордации модифицируется с учетом коэффициентов связности:

, 

где коэффициенты связности  рассчитываются по формуле  

, 

где t – номер группы связных рангов;

      – число групп связных рангов в ранжировке ;

      – число элементов (рангов), входящих в t-ю группы связных рангов ранжировки .   

Другим  множественным измерителем связи  является энтропийный коэффициент конкордации (коэффициент согласия), который вычисляется по формуле:

 

, 

где Н – энтропия, определяемая как:

, 

где – вероятность присвоения экспертом i-му объекту j-го ранга.

 – максимальное значение  энтропии. Оно достигается при  равновероятном распределении рангов, т.е.  , подставляя это соотношение в формулу расчета энтропии, получаем:

 

Энтропийный коэффициент согласия W изменяется от 0 до 1. При этом нулевое значение наблюдается при полной рассогласованности мнений, а единица – при полной согласованности экспертных ранжировок.  

Сравнительная оценка дисперсионного и энтропийного коэффициентов конкордации показывает, что эти коэффициенты дают схожие оценки согласованности мнений. Однако если группа экспертов разделяется  на две группы с противоположными мнениями, то дисперсионный коэффициент конкордации будет равен нулю, а коэффициент согласия – 0,7. Таким образом, энтропийный коэффициент, в отличие от дисперсионного, позволяет зафиксировать факт разделения мнений экспертов на согласованные подгруппы. 

При отсутствии согласованности экспертов можно разбить их на группы сходных по мнению. Это можно сделать различными методами статистики объектов нечисловой природы, относящимися к кластерному анализу, предварительно введя метрику в пространство мнений экспертов.

 

2.2. Методы средних  арифметических и медианных рангов.

 

После того, как каждый эксперт произвел ранжирование объектов исследования (мероприятий, вариантов, схем и пр.), необходимо дать обобщенную групповую оценку, упорядочить  оцениваемые варианты и выбрать  наиболее предпочтительный.

Часто для нахождения итогового решения  применяют обыкновенное среднее  арифметическое.  Однако специалисты  по теории измерений уже около 30 лет знают, что такой способ некорректен, поскольку баллы обычно измерены в порядковой шкале. Обоснованным является использование медиан в качестве средних баллов. Однако полностью игнорировать средние арифметические нецелесообразно из-за их привычности и распространенности. Поэтому представляется рациональным использовать одновременно оба метода - и метод средних арифметических рангов (баллов), и методов медианных рангов. Такая рекомендация находится в согласии с общенаучной концепцией устойчивости, рекомендующей применять различные методы для обработки одних и тех же данных с целью выделить выводы, получаемые одновременно при всех методах. Такие выводы, видимо, соответствуют реальной действительности, в то время как заключения, меняющиеся от метода к методу, зависят от субъективизма исследователя, выбирающего метод обработки исходных экспертных оценок. 

Рассмотрим  конкретный пример применения только что сформулированного подхода.

Анализировались восемь проектов, предлагаемых для  включения в план стратегического  развития фирмы. Они обозначены следующим  образом: Д, Л, М-К, Б, Г-Б, Сол, Стеф, К (по фамилиям менеджеров, предложивших их для рассмотрения). Все проекты были направлены 12 экспертам, включенным в экспертную комиссию. В приведенной ниже таблице приведены ранги восьми проектов, присвоенные им каждым из 12 экспертов в соответствии с представлением экспертов о целесообразности включения проекта в стратегический план фирмы. При этом эксперт присваивает ранг 1 самому лучшему проекту, который обязательно надо реализовать. Ранг 2 получает от эксперта второй по привлекательности проект, наконец, ранг 8 - наиболее сомнительный проект, который реализовывать стоит лишь в последнюю очередь.

 

 

Как видно  из таблицы 4-й эксперт считает, что  проекты М-К и Б равноценны.

Анализируя  результаты работы экспертов (т.е. упомянутую таблицу), члены аналитического подразделения были вынуждены констатировать, что полного согласия между экспертами нет, а потому данные, приведенные в таблице, следует подвергнуть более тщательному математическому анализу.

Метод средних арифметических рангов. Сначала для получения группового мнения экспертов был применен метод средних арифметических рангов. Для этого, прежде всего, была подсчитана сумма рангов, присвоенных проектам. Затем эта сумма была разделена на число экспертов, в результате рассчитан средний арифметический ранг (именно эта операция дала название методу). По средним рангам строится итоговая ранжировка (в другой терминологии - упорядочение), исходя из принципа - чем меньше средний ранг, чем лучше проект. Наименьший средний ранг, равный 2,625, у проекта Б, - следовательно, в итоговой ранжировке он получает ранг 1. Следующая по величине сумма, равная 3,125, у проекта М-К, - и он получает итоговый ранг 2. Проекты Л и Сол имеют одинаковые суммы (равные 3,25), значит, с точки зрения экспертов они равноценны (при рассматриваемом способе сведения вместе мнений экспертов), а потому они должны бы стоять на 3 и 4 местах и получают средний балл (3+4) /2 = 3,5. Дальнейшие результаты приведены в таблице ниже.

Итак, ранжировка по суммам рангов (или, что то же самое, по средним арифметическим рангам) имеет вид:

Б < М-К < {Л, Сол} < Д < Стеф < Г-Б < К . (1)

Здесь запись типа "А<Б" означает, что  проект А предшествует проекту Б (т.е. проект А лучше проекта Б). Поскольку проекты Л и Сол  получили одинаковую сумму баллов, то по рассматриваемому методу они эквивалентны, а потому объединены в группу (в фигурных скобках).

Метод медиан рангов.  Что это значит? Надо взять ответы экспертов, соответствующие одному из проектов, например, проекту Д. Это ранги 5, 5, 1, 6, 8, 5, 6, 5, 6, 5, 7, 1. Затем их надо расположить в порядке неубывания. Получим последовательность: 1, 1, 5, 5, 5, 5, 5, 6, 6, 6, 7, 8. На центральных местах - шестом и седьмом - стоят 5 и 5. Следовательно, медиана равна 5.