Методика проведения индивидуальной разовой экспертной оценки

Индивидуальная разовая экспертная оценка проводится в четыре этапа:

1) подбор группы экспертов, взаимная оценка их компетентности;

2) формирование списка факторов, по которым будет оцениваться объект, и оценка их значимости;

3) оценка объектов анализа (прогнозирования) с учетом значимости выделенных факторов и компетентности экспертов;

4) ранжирование объектов с учетом полученных ими обобщенных оценок; выводы.

Процедуру экспертизы проводит группа менеджеров. Вначале они подбирают группу экспертов так, чтобы минимизировать возможные недостатки метода, отмеченные ранее. Затем устанавливается и доводится до экспертов шкала балльных оценок, которая будет использоваться в дальнейшем. Экспертов собирают вместе фактически или виртуально, и первое, что они делают, – оценивают компетентность друг друга. Результат – квадратная матрица оценок К_ij, данных i -м экспертом j -у (i = 1, 2,…, n, j = 1, 2,…, n), где n - общее количество экспертов.

Менеджеры обрабатывают матрицу и рассчитывают коэффициенты компетентности экспертов: , j = 1, 2, …, n.

Эксперты, получившие минимальную оценку, могут быть исключены из группы.

На втором этапе эксперты независимо друг от друга составляют перечни факторов оценки объектов. Все факторы сводятся в единый список, который передается им для оценки. Результат оценки – матрица размерности n´m, где m – число оцениваемых факторов, а F_ij – оценка, данная i -м экспертом j -у фактору.

Менеджеры обрабатывают матрицу и рассчитывают коэффициенты значимости факторов: , j = 1, 2, …, m.

Факторы ранжируются в порядке убывания их значимости и наименее значимые по решению менеджеров могут быть отброшены для сокращения объема работ на следующем этапе. После такого отбрасывания расчет коэффициентов значимости должен быть повторен, но уже без учета оценок, полученных исключенными из рассмотрения факторами. В любом случае должно выполняться условие: . Аналогичное условие выдвигается по отношению к коэффициентам компетентности экспертов.

На третьем, основном, этапе эксперты оценивают объекты с учетом выделенных факторов. Результат оценки – Р матриц размерностью n´ m, где Р – число оцениваемых объектов, а W_ijр – оценка, данная i -м экспертом р- у объекту с учетом j -го фактора.

Менеджеры обрабатывают информацию и рассчитывают обобщенные оценки всех объектов: , р = 1, 2, …, Р.

На четвертом этапе объекты располагаются в порядке убывания (возрастания) значений обобщенной оценки, таким образом из них отбираются лучшие. На любом этапе по результатам выставления экспертами оценок можно определить коэффициент согласованности их мнений: . Здесь V – любая из выставляемых экспертами оценок (K, F, W). В случае значительного расхождения мнений группа может быть распущена.

Для целей разработки простейшего прогноза может быть использована усеченная процедура, в которой опущены выбор и оценка значимости факторов, прогнозируется состояние одного объекта, балльная оценка может быть заменена оценкой процентной вероятности. Так можно спрогнозировать вероятность успеха вывода товара на рынок, вероятность успешного завершения научно-исследовательских работ и т. п. Полная процедура используется для построения более сложных прогнозов, таких как оценка выводимого на рынок товара по сравнению с товарами конкурирующих фирм, а также для решения задач типа: выбор лучшего поставщика из нескольких возможных.

$ Пример.

Пусть четыре эксперта должны спрогнозировать вероятность успеха продвижения товара на рынок. Результаты взаимной балльной оценки их компетентности (из 6 баллов, высший – 6) и расчета коэффициентов компетентности представлены в следующей таблице.

Таблица оценки прогнозируемой вероятности имеет следующий вид:

Практически в этой ситуации результат расчета 33,325 % - это средневзвешенное мнение экспертов. Если и далее упрощать процедуру и исключить первый шаг, то придем к вырожденной форме - к расчету простого усредненного мнения экспертов.

$ Пример.

Те же независимые эксперты должны дать прогноз успешного выхода на рынок новой фирмы, предлагающей услугу – создание Web-страниц, на основе сравнения ее возможностей с другими уже работающими на этом рынке фирмами. Здесь требуется сравнительная оценка конкурентов по нескольким факторам, предварительный перечень которых сформирован экспертами в следующем виде:

1) цена услуги создания Web-страницы,

2) "вес" программы (т. е. объем памяти ПЭВМ, занимаемый программой),

3) сроки выполнения заказа,

4) качество и дизайн страниц,

5) условия оплаты.

Факторы получили у экспертов следующие оценки:

В результате проведенного анализа было принято решение об исключении из рассмотрения 1-го и 5-го факторов ввиду их низкой значимости. Это потребовало пересчета коэффициентов для оставшихся в списке факторов. Пересчет выполнен в следующей таблице:

Затем эксперты по оставшимся трем факторам оценили восемь сторонних фирм и новую фирму (НФ). Результаты оценки - девять таблиц и девять расчетов по одной методике, представленной выше. Далее обработка экспертных оценок показана на примере только одной новой фирмы.

Выставленные фирме баллы и результаты их обработки представлены в следующей таблице.

Для всех фирм результаты обработки оценок в баллах сведены в таблицу:

Анализ результатов показывает, что НФ занимает в рейтинге лишь четвертое место. Причина – высокий "вес" программ. По этому фактору она занимает третье от конца место. Вывод: следует обратить внимание на улучшение этой характеристики, может быть, за счет увеличения сроков, которые не так значимы, по мнению экспертов, и по которым НФ лидирует среди других фирм, сохраняя при этом неизменным качество (3-е место).

Представлять результаты экспертизы и выполнять их анализ удобно с помощью графиков, показанных на рис. 2.1.