Метод экспертных оценок в решении проблем

  - Мозговой штурм представляет собой совокупность способов группового обсуждения с целью генерации альтернативных нетрадиционных вариантов решений по исследуемым объектам, формирования новых, оригинальных идей. В ходе заседания эксперты, "заражаясь" друг от друга, высказывают все более экстравагантные соображения. Часа через два записанное на магнитофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма - анализ высказанных идей. Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5-6 дают возможность сформулировать прикладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект - прибыль, повышение экологической безопасности, оздоровление окружающей природной среды и т.п. При этом интерпретация идей - творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: "Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс". После проработки эта идея привела к созданию специальных устройств, создающих волны, сбивающиеся торпеду с курса.

  - Дискуссия как форма опроса экспертов проводится в виде открытого обсуждения рассматриваемой проблемы, с целью нахождения наиболее адекватных путей ее решения, выявления наиболее значимых факторов, влияющих на ее возникновение и развитие, системной оценки достоинств и недостатков результатов реализации возможных способов ее разрешения. Для организации и управления проведением дискуссии формируется группа управления с целью четкой формулировки сущности обсуждаемых задач, определения требований к экспертам и осуществления их подбора, разработки методики и регламента проведения дискуссии. Существенная роль в дискуссии отводится ведущему в создании творческой благоприятной обстановки для свободного изложения конструктивных идей выступающими по существу дискутируемых вопросов, в умении кратко и емко резюмировать выступления, в организации генерации эффективных коллективных идей, направленных на разрешение дискутируемых проблем. В ходе выступлений участников дискуссии разрешается критика, могут иметь место перерывы в процессе проведения дискуссии, предполагаются кулуарные обсуждения во время перерывов, способствующие достижению положительного эффекта во время дальнейшего продолжения дискуссии. Выступления фиксируются одним или несколькими возможными способами, анализируются по окончании дискуссии с целью обобщения и классификации основных результатов, высказанных участниками дискуссии. Основные результаты дискуссии могут быть скорректированы с учетом дополнительной информации экспертов, получаемой примерно через сутки после окончания дискуссии.

  Существуют  следующие методы:

  -  "Деловые игры" основаны на моделировании функционирования социальной системы управления при выполнения операций, направленных на достижение поставленной цели. Деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой.

  Основным  достоинством деловых игр является возможность выработки решения  в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации.

  - Самым распространенным методом групповой оценки является метод обобщения независимых характеристик. Суть данного метода заключается в том, что описываются профессионально важные качества конкретного специалиста, при этом источники информации о личности разные, т. е. это могут быть руководители, подчиненные, коллеги, родственники и т. д. Эксперты, примерно 5–7 человек, оценивают и описывают определенную особенность личности работника по предварительно составленной шкале. Использование данного метода не требует каких-то дополнительных знаний и навыков от эксперта, так как всю необходимую информацию по методу и интерпретацию дает сам психолог. Все полученные баллы от каждого эксперта усредняются путем подсчета среднеарифметической оценки.

   - Еще один экспертный метод, применяемый только в психологии труда, – метод критических инцидентов. Смысл метода заключается в приведении профессионалами своего дела реальных примеров сложившихся когда-то ситуаций, путей их разрешения и самое главное – указаний на поведение специалистов в той или иной ситуации. При этом говорят не только об эффективной деятельности, но также затрагивают и отрицательные стороны. Приводятся лишь те примеры, при которых поведение зависит только от самой личности, а не от окружающих. Чаще всего это примеры критических инцидентов, каждый такой пример содержит в себе описание ситуации, предпосылки поведения, описание поведения личности, зависимость поведения личности от нее самой или же от внешних факторов и т. д.

   Критические инциденты формируются экспертами по результатам наблюдения, опроса. Количество полученных инцидентов зависит от сложности оцениваемой деятельности. В простых видах их может насчитываться от 50 до 100, а в более сложных – до нескольких сотен.

   Все собранные инциденты получают определенную классификацию в зависимости от цели исследования. При проведении данного метода получают результаты, которые позволяют формулировать критерии успешности той или иной профессии, составлять задачи для проверки профессиональной деятельности, совершенствовать профессиональное обучение и т. д. Этот метод в основном применяется для выявления профессионально важных качеств работника и критериев составления и подбора тестов при профессиональном отборе.

5. Обработка экспертных оценок.

 

  Обработка экспертных оценок при групповой  экспертизе имеет специфику в зависимости от характера информации, выражающей предпочтения экспертов и содержательное обоснование своих предпочтений, целей, назначения и других факторов проводимой экспертизы и заключается в следующем:

• определении обобщенной оценки исследуемых объектов или рассматриваемого объекта по ряду свойств, показателей и относительной их значимости;
• оценки согласованности и зависимости мнений экспертов;
• оценки достоверности полученных расчетных величин.

  Целью обработки экспертных оценок является получение обобщенных данных по исследуемым объектам, анализ которых позволяет получать дополнительную информацию об особенностях процесса оценки, позволяющую формулировать выводы о качестве проведенной экспертизы и причинах возможных расхождений мнений коалиций экспертов.

  Определение обобщенной оценки исследуемых объектов осуществляется при групповой экспертной оценке на основе применения методов  осреднения индивидуальных оценок экспертов  с учетом предположения о том, что они являются достаточно точными  «измерителями» и их оценки образуют одну или несколько компактных групп. Алгоритмы получения обобщенной оценки зависят от применяемых разновидностей методов субъективного измерения экспертами предпочтительности оцениваемых объектов или их свойств. Если результаты применяемых методов субъективных измерений представляют собой числа или баллы, то построение групповой оценки заключается в определении среднего значения (математического ожидания) или медианы (наиболее вероятной оценки). В другом случае, если результаты представляют собой ранги, то задачей обработки является построение обобщенной ранжировки объектов на основании наилучшего способа согласования индивидуальных ранжировок экспертов в виде медианы, сумма расстояний от которой результатов индивидуальных ранжировок является минимальной.

  Упорядочив  полученные результаты обобщенных оценок объектов по убыванию их значимости можно  судить об их относительной важности. Дополнительными показателями, уточняющими  относительную важность исследуемых  объектов, являются: частота высших (максимально возможных) оценок для объекта , сумма рангов объекта . Частота максимально возможных оценок для j-го объекта определяется по формуле: 

  

 

где   – количество максимально возможных оценок, полученных j-тым объектом;

         – количество экспертов, оценивающих j-ый объект исследования. 

  Указанный показатель целесообразно использовать для установления очередности объектов в случае получения равных значений результатов обобщенных оценок.

  Сумма рангов объекта исследования определяется по формуле: 

  

 

где    – ранг оценки j-м экспертом j-го объекта. 

  Если  среди оценок данных j-m экспертом, есть одинаковые, то им назначается одинаковый ранг, равный среднему арифметическому соответствующих чисел натурального ряда. При оценке относительной важности объектов по наиболее важным следует считать объект, характеризующийся его наименьшим значением.

  Количественная  оценка согласованности мнений экспертов  необходима в том случае, если мнения экспертов расходятся по рассматриваемым  объектам для более обоснованной интерпретации их расхождения. При этом, индивидуальные оценки рассматриваемого объекта, высказанные экспертами, представляются в виде точек в некотором пространстве, в котором имеется понятие расстояния. Используя понятие компактности можно трактовать степень согласованности мнений экспертов, то если указанные оценки расположены на небольшом расстоянии друг от друга, образуя компактную группу, то можно говорить о хорошей согласованности мнений экспертов, иначе – о невысокой. Если оценки экспертов образуют в пространстве две или более компактные группы, то это означает, что в экспертной группе существуют соответствующие коалиции с существенно отличающимися точками зрения на оценку объектов. Многообразие предлагаемых в литературе способов оценки согласованности мнений экспертов обуславливается использованием для оценки объектов различных субъективных методов измерения, результатами которых могут быть числа, баллы или ранги, а также различные меры степени согласованности (например, мерой согласованности оценок экспертов может быть отношение среднеквадратического отклонения к математическому ожиданию случайной величины; сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожидания от начала координат; количество точек, расположенных в радиусе среднеквадратического отклонения от математического ожидания ко всему количеству точек и т. д.).

  В качестве показателей степени согласованности  мнений экспертов применяют: коэффициент  вариации, коэффициент парной ранговой корреляции (Спирменаили Кендалла), коэффициент конкордации (дисперсионный или энтропийный).

  Коэффициент вариации (V_j) оценок, данных j-му объекту определяется по формуле: 

  

 

где      – оценка в баллах i-м экспертом j-гo объекта;

       – среднестатистическое значение величины оценки объекта в баллах, определяемое по формуле: 

  

 

где m_j  – количество экспертов, оценивающих j-ый объект. 

  Чем меньше значение этого коэффициента, тем выше степень согласованности  мнений экспертов.

  Коэффициент парной ранговой корреляции Спирмена для двух экспертов α и β определяется по

  формуле: 

  

 

где        –   ранговые оценки j-гo объекта экспертов α и β;

        п   –    количество оцениваемых объектов;

       – показатели связанных (равных) рангов оценок экспертов α и β, вычисляемые следующим образом:

                      если все n рангов оценок, назначенных i-м экспертом различны, то Т_i = 0, иначе для равных рангов: 

  

 

где        L – количество групп связанных рангов;

           t₁ – количество связанных рангов в 1-й. группе. 

  Значение  коэффициента указывает на полную согласованность мнений экспертов α и β; значение – о полной противоположности мнений экспертов; значение – об отсутствии связи между мнениями экспертов.

  Для оценки степени согласованности  мнений всей группы экспертов в целом применяется коэффициент конкордации. Коэффициент конкордации определяется в следующей последовательности: вначале вычисляется среднее арифметическое сумм рангов оценок всех объектов: