Определение коэффициента весомости экспертным методом

Практическая работа №1. Определение коффициента весомости экспертным методом.

Экспертный метод

Экспертное оценивание продукции осуществляется в 4 этапа:

1. Подготовительный. Осуществляется формулирование целей оценки и формирование экспертной группы и рабочей группы, цели оценивания качества продукции, формулируется лицо, принимающее решение (ЛПР). ЛПР – это руководитель работы, эффективность которой зависит от результата оценивания качества (гл.инженер, менеджер по продажам или др.)

2. Осуществляется выбор методов, способов и процедур оценивания. Он выполняется рабочей группой. Рабочая группа учитывает особенности оцениваемой продукции, установленные сроки выполнения работы, ее трудоемкость, области возможного использования полученных результатов.

3. Осуществляется экспертной группой, члены которой выражают свое суждение в соответствии с установленными на 2-ом этапе методами, способами и процедурами.

4. Осуществляется обработка экспертных суждений и оформляется экспертное заключение о качестве продукции.

Эксперт должен обладать компетентностью, заинтересованностью, деловитостью, объективностью. Компетентность эксперта означает знание по оцениваемой продукции и знание по методологии оценивания. Заинтересованность эксперта в участии и работе экспертной комиссии зависит от индивидуальных особенностей, загруженности основной работы и от возможности использования ее результатов в своей практической деятельности. Деловитость – собранность, оперативность в работе и обоснованность суждений. Объективность – возможность вынесения экспертом непредвзятых суждений. Необъективность эксперта – завышение или занижение значений показателей свойств продукции по причинам, не имеющим отношение к ее качеству.

Экспертный метод применяется:

1. для измерения показателей качества

2. для определения значений весовых коэффициентов.

Независимо от целей и задач применение экспертного метода предполагает соблюдение следующих условий:

1. экспертная оценка должна производиться только в том случае, когда нельзя использовать для решения вопроса более объективные методы

2. в работе экспертной комиссии не должно быть факторов, которые могли бы влиять на искренность суждений экспертов.

3. вопросы, поставленные перед экспертами, не должны допускать различного толкования

4. эксперты должны быть компетентны в решаемых вопросах

5. ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.

Исходная численность экспертной группы составляет обычно не менее 7 человек. В отдельных случаях она достигает 15-20 экспертов (массовый опрос проводится, как правило, только при социологических исследовании).

Ранжирование - состоит в расстановке объектов измерений или показателей в порядке их предпочтения, по важности или весомости. Место, занятое при такой расстановке, называется рангом. Чем выше ранг, тем предпочтительней объект, весомее, важнее показатель.

Под экспертными оценками понимают эвристические оценки, основанные на опыте и интуиции эксперта. Широкое распространение метода было обусловлено сложностью и многофакторностью экономических измерений.

Выделяют два уровня использования экспертных оценок - количественный и качественный. На качественном уровне эксперты выражают свое мнение о тенденции изменения показателей, а на количественном - составляют прогноз вероятных результатов.

Различают индивидуальные и групповые экспертные оценки. Групповые оценки снижают риск субъективности, так как результат оценки тесно связан с личностью эксперта.

При отборе экспертов необходимо провести их оценку при помощи тестирования, самооценки или взаимной оценки экспертами друг друга. По результатам оценки можно рассчитать так «весовой коэффициент» значимости оценки каждого эксперта. Значение его будет прямо пропорционально степени компетентности эксперта.

Важной  характеристикой  качества  результата  экспертизы  считают согласованность мнения экспертов, которую оценивают по величине коэффициента конкордации Кендалла:

где S – сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего арифметического;

n – число экспертов;

m – число объектов экспертизы.

Коэффициент конкордации изменяется в диапазоне от 0 до 1, причем 1 соответствует полной согласованности мнений экспертов.

Различают следующие методы экспертных оценок:

1. Попарное сравнение. В этом случае эксперту предлагается сравнить объекты исследования по принципу «лучше или хуже» и построить ранжированный ряд. При выполнении оценки эксперт сравнивает пары объектов, отдавая предпочтение одному из них. Предпочтение обозначается 1, в противном случае – 0. Результаты сводятся в таблицу следующего вида:

       В первой строке оценивается объект 1 по сравнению с объектами 2,3,4,5,6. Видно, что объект 1 предпочтительнее, чем объекты 2,4,5 и 6, но проигрывает объекту 3.

Сумма баллов по строке показывает общую оценку объекта и позволяет ранжировать их по степени предпочтительности. В приведенном примере объекты 1 и 2 получают равные оценки, самым лучшим является объект 3, самым неудачным - объект 4.

2. Метод интервью. Заключается в том, что эксперт высказывает свое мнение в виде ответов на вопросы другого эксперта. Результаты в данном случае в большей степени зависят от интуиции эксперта, так как времени на размышление отводится очень мало.

3. Метод «Дельфи». Предполагает проведение экспертизы в несколько этапов и работу нескольких изолированных групп экспертов. На первом этапе каждая группа экспертов высказывает свое мнение, затем все оценки анализируются. Из предложенных оценок выбираются крайние значения, которые вновь подвергаются уже совместной экспертизе. Обычно требуемый уровень согласованности достигается на втором этапе, но при необходимости анализ крайних оценок можно повторить.

4. Метод «мозговой атаки». Сущность метода заключается также в изолированной работе как минимум двух групп экспертов. После того как каждая группа вынесет заключение, результаты экспертизы передают второй группе, которая пытается высказать обоснованные критические замечания по прогнозу коллег. В результате дебатов составляется согласованное мнение.

5. Метод «635». Так же, как и метод интервью, полагается более на интуицию экспертов. Группе из шести экспертов за три минуты предлагается высказать пять вариантов развития ситуации (отсюда и название метода, хотя количество экспертов, время и количество версий могут варьироваться). Те варианты, которые встречаются у всех (или у большинства) экспертов, и принимаются за основу.

6. Имитационное моделирование. Один из самых «творческих» методов экспертных оценок. Заключается в построении так называемого «дерева решений». Пытаясь предположить развитие ситуации, эксперты на каждом шаге пытаются предугадать все возможные последствия именно такого варианта.

ВЫПОЛНЕНИЕ РАБОТЫ (пример):

Задание: провести экспертизу 5 объектов группой экспертов сначала из 5 человек, а затем повторно - из 6 человек. Полученные данные заносим в таблицу. Далее проводим расчеты и результаты заносим в таблицу.

Для 5 специалистов;

Определение коэффициента весомости:

q1 = b/В = 45/197 = 0,23

q2 = 38/197 = 0,19

q3 = 41/197 = 0,21

q4 = 33/197 = 0,17

q5 = 40/197 = 0,2

проверка: 0,23 + 0,19 + 0,21 + 0,17 + 0,2 = 1,0

Составим ранжированный ряд:

q1 > q3 > q5 > q2 > q4

Для определения коэффициента конкордации:

,

где m – число объектов, n – число экспертов,

необходимо рассчитать среднее арифметическое сумм баллов по каждому объекту:

197/5 = 39,4

Квадрат отклонений от среднего арифметического:

S1 = (39,4 – 45)2 = 31,36

S2 = 1,96

S3 = 2,56

S4 = 40,96

S5 = 0,36

S = 77,2

W = 12*77,2 / (52* (53-5)) = 0,3088

Отсюда следует, что согласованность мнений экспертов судя по коэффициенту конкордации мала.

Для 6 экспертов:

Определение коэффициента весомости:

q1 = b/В = 54/233 = 0,23

q2 = 46/233 = 0,2

q3 = 49/233 = 0,21                 

q4 = 39/233 = 0,17

q5 = 45/233 = 0,19

проверка: 0,23 + 0,2 + 0,21 + 0,17 + 0,19 = 1,0

Составим ранжированный ряд:

q1 > q3 > q2 > q5 > q4

Для определения коэффициента конкордации:

,

где m – число объектов, n – число экспертов,

необходимо рассчитать среднее арифметическое сумм баллов по каждому объекту:

233/5 = 46,6

Квадрат отклонений от среднего арифметического:

S1 = (46,6 – 54)2 = 54,76

S2 = 0,36

S3 = 5,76

S4 = 57,76

S5 = 2,56

S = 121,2

W = 12*121,2 / (52* (63-6)) = 0,277

С появлением шестого эксперта ранжированный ряд практически не изменился, коэффициент понизился (его значение меньше 0,5), таким образом, количество экспертов n=5 дает более согласованный результат.

Задание: провести экспертизу 5 объектов группой экспертов сначала из 5 человек, а затем повторно - из 6 человек. Результаты оценок 4 экспертами для всех объектов берутся одинаковыми из примера, оценки, проставляемые 5-ым  и 6-ым экспертами, задаются преподавателем в соответствии с приводимыми ниже вариантами.