где w_ij – вес i-го объекта, подсчитанный по оценкам j-го эксперта, равен:

 

   5.3 Установление степени согласованности мнений экспертов 

   В случае участия в опросе нескольких экспертов расхождения в их оценках  неизбежны, однако величина этого расхождения  имеет важное значение. Групповая  оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.

   Для анализа разброса и согласованности  оценок применяются статистические характеристики – меры разброса.

   Вариационный  размах (R):

   где x_max - максимальная оценка объекта;

       x_min - минимальная оценка объекта.

   Среднее квадратическое отклонение, вычисляемое по известной формуле:

   где x_j - оценка, данная j-ым экспертом;

       m - количество экспертов.

   Коэффициент вариации (V), который обычно выражается в процентах:

 

   Специфичны  подходы к проверке согласованности, используемые при оценке объектов методом ранжирования.

   В этом случае результатом работы эксперта является ранжировка, представляющая собой последовательность рангов (для  эксперта j): x_1j, x_2j, …, x_nj.

   Согласованность между ранжировками двух экспертов можно определить с помощью коэффициента ранговой корреляции Спирмэна:

   где x_ij – ранг, присвоенный i-му объекту j-ым экспертом;

       x_ik – ранг, присвоенный i-му объекту k-ым экспертом;

       d_i – разница между рангами, присвоенными i-му объекту.

   Величина  может изменяться в диапазоне от –1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.

   Кроме того, расчет коэффициента ранговой корреляции может применяться как способ оценки взаимоотношений между каким-либо фактором и результативным признаком (реакцией) в тех случаях, когда признаки не могут быть измерены точно, но могут быть упорядочены.

   В этом случае значение коэффициента Спирмэна может быть интерпретировано подобно  значению коэффициента парной корреляции. Положительное значение свидетельствует о прямой связи между факторами, отрицательное - об обратной, при этом, чем ближе абсолютное значение коэффициента к единице, тем теснее связь. 

   Когда необходимо определить согласованность в ранжировках большого (более двух) числа экспертов, рассчитывается так называемый коэффициент конкордации – общий коэффициент ранговой корреляции для группы, состоящей из m экспертов:

   где

   Заметим, что вычитаемое в скобках представляет собой не что иное, как среднюю  сумму рангов (при суммировании для  каждого объекта), полученных i объектами от экспертов.

   Коэффициент W изменяется в диапазоне от 0 до 1. Его равенство единице означает, что все эксперты присвоили объектам одинаковые ранги. Чем ближе значение коэффициента к нулю, тем менее  согласованными являются оценки экспертов.

   Далее приведем примеры расчета коэффициентов  и W. 

   Пример 7.1. Пусть два эксперта приписали двенадцати факторам, влияющим на успешность реализации инновационного проекта, ранги, показанные в таблице 7.1.

   На  основе приведенных данных рассчитайте  коэффициент ранговой корреляции Спирмэна. 

   Решение.

   Рассчитаем  коэффициент Спирмэна, используя  формулу (7.8). Промежуточные результаты расчетов (d_i и d_i²) приведены в таблице 7.1.

   Таблица 7.1 - Исходные данные и промежуточные  результаты расчетов примера 7.1

   Подставляя  вычисленное значение в формулу (7.8), получим:

   Такое значение коэффициента Спирмэна свидетельствует  о высокой согласованности оценок экспертов. 

   Пример 7.2. Пять экспертов проранжировали семь вариантов капиталовложений (соответствующие оценки приведены в таблице 7.2).

   Проверьте согласованность ранжировок, используя коэффициент конкордации. 

   Решение.

   Рассчитаем  коэффициент конкордации, используя  формулу (7.9). В таблице 7.2 приведены  промежуточные результаты расчетов.

   Таблица 7.2 - Исходные данные и промежуточные  результаты расчетов примера 7.2

   Подставляя  вычисленное значение в формулу (7.9), получим:

   Такая величина W позволяет сделать вывод  о том, что существует неслучайная  согласованность в мнениях экспертов.