Метод экспертных оценок в решении проблем

затем вычисляются отклонения d_j суммы рангов оценок, полученных j-м объектом от : 

  

 

после этого подсчитываются показатели T_i связных (равных) рангов ранговых оценок, назначенных i-м экспертом; в конечном итоге рассчитывается коэффициент конкордации: 

  

 

где    m₁  – количество экспертов, оценивших хотя бы один объект. 

  Коэффициент конкордации изменяется в пределах от 0 до 1. Увеличение значения коэффициента конкордации соответствует увеличению степени согласованности мнений экспертов. Небольшое значение коэффициента конкордации может быть обусловлено  либо действительно невысокой степенью согласованности мнений экспертов, либо существованием групп с высокой согласованностью противоположных мнений.

  Оценки  объектов, получаемые в результате обработки экспертных оценок представляют собой случайные величины. Поэтому  необходимо оценивать надежность (достоверность, уровень значимости) результатов экспертизы. Для определения уровня значимости используется так называемый критерий согласия «хи-квадрат» . Последовательность определения уровня значимости по данному критерию состоит в следующем:

  рассчитывается  значение по формуле: 

  

 

где т – количество экспертов, 

затем вычисляется количество степеней свободы (r = n – 1, где n – количество исследуемых объектов).

  По  таблице значений для определенного числа степеней свободы и найденного значения определяется вероятность Р случайного появления рассчитанного значения показателя согласованности мнений. Затем фиксируется некоторое пороговое значение вероятности – P_o (обычно Р_o = 0,05 или 0,01), называемое уровнем значимости. Если Р оказывается меньше Р_o, тогда гипотеза о случайном происхождении конкретного значения показателя согласованности мнений отвергается, то есть этот показатель считается значимым, а группа экспертов репрезентативной. В другом случае, если гипотеза о случайном происхождении конкретного значения показателя согласованности мнений принимается, тогда этот показатель считается незначимым, а группа экспертов непрезентативной.

  Рассмотрим  пример применения экспертных оценок для определения влияния интегрированных автоматизированных информационных систем управления (ИАИСУ) на статьи затрат себестоимости выпускаемой продукции производственным предприятием.

  В качестве экспертов, как показывает практика, должны участвовать специалисты, которые проектируют ИАИСУ, а  также группа специалистов, которые эксплуатируют эту систему. Перед началом экспертизы все ее участники получают исходную информацию о внедряемых локальных АИСУ и перечень статей затрат себестоимости, на которые они могут влиять в виде таблицы, где по горизонтали располагается перечень статей затрат себестоимости, а по вертикали – внедряемые локальные АИСУ. От специалистов-разработчиков должно быть не менее четырех экспертов. В качестве экспертов могут выступать начальник отдела i-ой локальной АИСУ, ведущий специалист по разработке i-ой локальной АИСУ (задаче, комплексу АИСУ организационного управления), экономист отдела АИСУ и т. п. В свою очередь от специалистов, занимающиихся эксплуатацией системы, должно быть не менее шести экспертов.

  Качество  экспертных оценок, их надежность и обоснованность в значительной степени зависит от выбранной методики сбора и обработки экспертных мнений. Индивидуальный метод, который мы применяем для выявления влияния i-x локальных АИСУ на статьи затрат себестоимости продукции, включает проведение анкетного опроса, отбор и обработку полученных заключений. В этом случае информационным массивом служат заполненные специалистами таблицы (анкеты) экспертных оценок. Применительно к решению нашего вопроса мы используем метод экспертных оценок, изложенный выше и в работе . При составлении таблиц экспертных оценок должны быть выполнены три условия:

• получены количественно определенные ответы на предлагаемые вопросы;
• получены формализованные сведения о характере источников аргументации, а также о степени влияния каждого из источников на ответ эксперта;
• получены от экспертов количественно определенные оценки степени их знакомства с областью, к которой относятся предлагаемые вопросы.

  В целях удовлетворения первого условия  вопросы должны быть сведены к оценке относительной важности влияния 1-х локальных АИСУ на статьи затрат себестоимости продукции. Каждому эксперту предлагается дать оценку (по стобалльной системе) относительной важности влияния указанных АИСУ на статьи затрат себестоимости продукции. Анкета в виде таблицы (табл.2 ), выдается каждому эксперту, где по вертикали содержатся сведения о перечне проектируемых задач (комплексов), локальных АИСУ, а по горизонтали перечень статей затрат себестоимости продукции , на часть из которых они могут повлиять.

  Таблица 1

 

  Анализ  оценки относительной  важности влияния  i-x

  локальных АИСУ на статьи затрат себестоимости продукции 

  

 

  В качестве примера в табл. 1 приведен перечень пяти задач АИС О У по фазам управления-планирования, учета, контроля, анализа и регулирования для одного и того же объекта управления. Дается две задачи, решаемые в АИСУ проектированием (САПР) и приводится два типа АИСУ ТП, а также отмечено по стобалльной системе мнение одного из экспертов. В соответствии с его мнением наибольшее предпочтение отдано АИСУ ТП механообработкой. Аналогичным образом осуществляется опрос остальных экспертов, после чего начинается процесс обработки отобранных анкет. Их обработку можно проводить с помощью специально разработанной программы на ПЭВМ.

  Для достижения второго условия необходимо сформировать анкету, которую можно составить на основании данных таблиц (см. табл. 2, 3 ). Эти таблицы по вертикали содержат источники аргументации, а по горизонтали оценку степени влияния на мнение экспертов источников аргументации.

  Табл. 3 уже имеет определенные числовые значения компетентности эксперта. По источникам аргументации она соответствует табл. 2. 

  Таблица 2

  Анкета  оценки степени влияния  на мнение экспертов  источников аргументации

 

  

  Таблица 3

  Анкета  количественной оценки степени влияния на

  мнение  экспертов источников аргументации 

  

 
 
 
 
 

  После этого в клетки табл. 2, отмеченные экспертами знаком « + » заносятся числовые значения соответствующих клеток табл. 3, сумма которых дает коэффициент аргументированности (K_ai). Следует отметить, что табл. 3 разрабатывается в соответствии с проводимыми исследованиями и с учетом следующих выводов:

• значение коэффициента аргументированности
• значению K_ai = 1 соответствует высокая степень влияния на мнение эксперта всех источников аргументации;
• значению соответствует низкая степень влияния на мнение эксперта всех источников аргументации.

  В целях удовлетворения третьему условию  каждому эксперту предлагается сделать  отметку на шкале (от 0 до 10), соответствующую, по его мнению, степени его знакомства с обсуждаемой проблемой. Следует отметить, что вероятность правильного и точного заполнения анкеты больше у эксперта с большим временем работы в данной области.

  После того как собран материал заполненных  анкет экспертных оценок, вводятся показатели, характеризующие обобщенное мнение группы экспертов и компетентность экспертов по предложенным вопросам. Методика статистической обработки материалов таблиц экспертных оценок зависит от характера поставленных вопросов.

  Показателями  обобщенного мнения группы экспертов для данного типа вопросов являются показатели относительной важности влияния i-х локальных АИСУ на статьи затрат себестоимости продукции. Такими показателями могут быть: среднестатистическое значение оценки направления (j) в баллах (M_j) и частота высших (максимально возможных) оценок направления , которые определяются исходя из стобалльной оценки . Формулы расчета указанных показателей приведены выше.

  Показателем компетентности эксперта является коэффициент  компетентности , определяемый по формуле: 

  

 

где      – коэффициент аргументированности,

        –   коэффициент степени знакомства с обсуждаемой проблемой. 

  Коэффициент аргументированности учитывает  структуру аргументов, послуживших  эксперту основанием для произведенной им оценки и равен сумме численных значений, вписанных в табл. 4.

  Коэффициент степени знакомства учитывает степень  знакомства эксперта с рассматриваемой  проблемой и равен нормированному (умноженному на 0,1) значению соответствующей  оценки, данной экспертом. Каждый эксперт отмечает степень своего знакомства на шкале, имеющей вид: 

  

  Таблица 4

  Коллективная  экспертная оценка

 

  

 

  Коллективная  экспертная оценка может проводиться  с учетом и без учета компетентности экспертов. В первом случае значения С_ij умножаются на значение коэффициента компетентности. Затем оценивается степень согласованности мнений экспертов и показатель репрезентативности экспертных оценок по формулам, приведенным выше. Целесообразно представить результаты обработки экспертных оценок в виде соответствующих таблиц. 

  NВ 

• Экспертные  оценки представляют собой точки  зрения (мнения, суждения) высококвалифицированных  специалистов в определенных предметных областях – экспертов, сформулированные в виде оценок объекта в содержательной, качественной или количественной форме.
• Сущность метода экспертных оценок состоит в надлежащей организации специалистами-организаторами экспертиз проведения конкретной экспертизы с целью получения информации о   суждениях экспертов по рассматриваемым объектам и ее последующей обработки для генерации обощенных данных и новой информации.
• В соответствии с главной целью технологии экспертных оценок – принятие эффективного решения по итогам проведения экспертизы следует решить определенные задачи:
• обеспечить адекватную оценку объекта экспертизы;
• выработать эффективные альтернативные варианты решений достижения поставленных целей;
• выбрать из них единственный оптимальный (наиболее рациональный) вариант.
• Вопрос формирования состава экспертной комиссии является весьма важным. Количественный и качественный состав экспертной комиссии должен формироваться с учетом широты проблемы, достоверности оценок, затрат ресурсов и характеристик экспертов.
• Поскольку при подборе экспертов используется определенное множество характиристик, имеющих различные значения и различную значимость, то возникает необходимость сформирования интегральной оценки эксперта, то есть решения многокритериальной задачи с известной ее проблематикой.
• Интервьюирование как процесс получения информации интервьюером во время проведения по заранее намеченному плану беседы, опроса эксперта или группы экспертов является одной из разновидностей форм сбора информации в ходе экспертизы.
• Мозговой штурм представляет собой совокупность способов группового обсуждения с целью генерации альтернативных нетрадиционных вариантов решений по исследуемым объектам, формирования новых, оригинальных идей.
• Определение обобщенной оценки исследуемых объектов осуществляется при групповой экспертной оценке на основе применения методов осреднения индивидуальных оценок экспертов с учетом предположения о том, что они являются достаточно точными «измерителями» и их оценки образуют одну или несколько компактных групп.
• Количественная оценка согласованности мнений экспертов необходима в том случае, если мнения экспертов расходятся по рассматриваемым объектам для более обоснованной интерпретации их расхождения.