Вопрос 39:Метод экспертных оценок. Коэффициент согласованности мнений экспертов

Задачи прогнозирова­ния, решаемые с помощью методов экспертных оценок, включают два формально не связанных между собой элемента: определение возмож­ных вариантов развития объекта прогнозирования и их оценку. Анализ экспертных методов показывает целесообразность применения «мозговых атак» для определения возможных вариантов развития. Их использование позволяет получить продуктивные результаты за короткий период времени и вовлечь всех экспертов в активный творческий процесс.

Методы «мозговых атак» можно классифицировать по признаку наличия или отсутствия обратной связи между руководителем и участниками «мозговой атаки» в процессе решения некоторой проб­лемной ситуации. Наличие обратной связи позволяет концентриро­вать внимание участников только на вариантах, полезных по тем или иным критериям для решения проблемной ситуации. Однако, ис­кусственно вводя ограничения, мы лишаемся возможности увидеть все многообразие подходов, и тем самым появляется вероятность пропустить оригинальные мысли, имеющие потенциальную, но не осознаваемую в настоящий момент ценность. Отсутствие обратной связи, т.е. максимальная стимуляция высказываний, предполагает проведение сложной и большой по объему работы на этапе их оценки. Создавшаяся ситуация потребовала разработать метод «мозговой атаки», способный качественно и достаточно быстро проводить оцен­ку вариантов, не ограничивая при этом их числа.

Сущность этого метода состоит в актуализации творческого потенциала специалистов при «мозговой атаке» проблемной ситуации, реализующей вначале генерацию идей и последующее деструирование (разрушение, критику) этих идей с формулированием контридей. Работа с методом «мозговой атаки» предполагает реализацию сле­дующих шести этапов.

Первый этап - формирование группы участников «мозговой атаки» (по численности и составу). Оптимальная числен­ность группы участников находится эмпирическим путем: наиболее продуктивными признаны группы в 10-15 человек.

Второй этап - составление проблемной записки участника мозговой атаки. Она составляется группой анализа проб­лемной ситуации и включает описание этого метода и описание проб­лемной ситуации.

Третий этап - генерация идей. Она начинается с того, что ведущий раскрывает содержание проблемной записки.

Четвертый этап - систематизация идей, выска­занных на этапе генерации.

Пятый этап - деструирование (разрушение, критика) систематизированных идей (специализированная процедура оценки идей на практическую реализуемость в процессе мозговой атаки, когда каж­дая из них подвергается всесторонней критике со стороны участ­ников мозговой атаки).

Шестой этап - оценка критических замечаний и составление списка практически применимых идей.

Содержание методов экспертных оценок заключает­ся в следующем

I. Создание групп. Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив раз­вития данной отрасли. Количество экспертов, привлекаемых для раз­работки прогноза, может колебаться от 10 до 150 человек, в зави­симости от сложности объекта.

II. Формулирование глобальной цели системы. Перед тем, как организовать опрос экспертов, не­обходимо уточнить основные направления развития объекта, а также составить матрицу, отражающую генеральную цель, подцели и сред­ства их достижения. При этом в ходе предварительного анализа совместно с группой специалистов определяются наиболее важные цели и подцели для решения поставленной задачи. Под средствами достижения цели понимаются направления научных исследований и разработок, результаты которых могут быть использованы для дости­жения цели. При этом направления научных исследований и разрабо­ток не должны пересекаться друг с другом.

III. Разработка анкеты. Заключается в раз­работке вопросов, которые будут предложены экспертам. Форма воп­роса может быть разработана в виде таблиц, но содержание их долж­но определяться спецификой прогнозируемого объекта или отрасли. При этом вопросы должны быть составлены по определенной структур­но-иерархической схеме, т.е. от широких вопросов к узким, от сложных к простым.

При проведении опроса экспертов необходимо обес­печить однозначность понимания отдельных вопросов, а также неза­висимость суждений экспертов.

IV. Расчёт экспертных оценок. Необходимо провести обработку материалов экс­пертных оценок, которые характеризуют обобщенное мнение и сте­пень согласованности индивидуальных оценок экспертов. Обработка данных оценок экспертов служит исходным материалом для синтеза прогнозных гипотез и вариантов развития отрасли.

Окончательная количественная оценка определяется с помощью четырех основных методов экспертных оценок и множества их разновидностей:

1)метод простой ранжировки (или метод предпочтения);

2)метод задания весовых коэффициентов;

3)метод парных сравнений;

4)метод последовательных сравнений.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения. Цифрой один обозначается наиболее важный признак, цифрой два – следующий за ним по важности и т.д. полученные данные сводятся в следующую таблицу.

Метод задания весовых коэффициентов заключается в присвоении всем признакам весовых коэффициентов. Весовые коэффициенты могут быть проставлены двумя способами:

1) всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);

2) наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

Обобщенное мнение экспертов также получаем с помощью методов математической статистики по формулам (2.1 – 2.5).

Метод последовательных сравнений заключается в следующем:

1) эксперт упорядочивает все признаки в порядке уменьшения их значимости: А₁>A₂>…>A_n ;

2) присваивает первому признаку значение, равное единице: A₁=1, остальным же признакам назначает весовые коэффициенты в долях единицы;

3) сравнивает значение первого признака с суммой всех последующих.

Эксперт выбирает наиболее соответствующий, по его мнению, вариант и приводит в соответствие с ним оценку первого события;

4) сравнивает значение первого признака с суммой всех последующих за вычетом самого последнего признака.

5) процедура повторяется до сравнения A₁ с A₂ + A_3.

Недостатки метода таковы:

1) сложность его; неподготовленный эксперт будет с трудом справляться с этой процедурой; вместо того, чтобы уточнять свои первоначальные оценки, он будет путаться в них;

2) громоздкость; на оценку одного и того же набора признаков он требует в четыре раза больше операций, чем метод простой ранжировки (другими словами, для одной и той же работы нужно в четыре раза больше экспертов).

Метод парных сравнений

Согласно ему все признаки попарно сравниваются между собой. На основании парных сравнений путем дальнейшей обработки находятся затем оценки каждого признака.

Чтобы эксперту было удобнее проводить сравнения, признаки (A,B,C,…N) заносятся в таблицу и по горизонтали и по вертикали.

Эксперт заполняет клетки такой таблицы. Сравнение признака самого с собой дает единицу. В первой клетке эксперт пишет единицу, во второй – результат сравнения первого признака со вторым, в третьей – результат сравнения первого признака с третьим и т.д. Переходя ко второй строке, эксперт записывает в первой клетке результат сравнения второго признака с первым, во втором – единицу, в третьей – сравнение второго признака с третьим и т.д.

Половина таблицы, расположенная выше диагонали, служит отражением нижней половины. Чтобы не вносить путаницу, не провоцировать эксперта вычислять одну половину таблицы по другой, чтобы уменьшить число операций, целесообразно заполнять только одну половину таблицы (выше или ниже диагонали). Таким образом, ответы экспертов будут представлены в виде следующей матрицы: