Методы индивидуальных экспертных оценок

Методы индивидуальных экспертных оценок базируются на использовании в качестве источника информации мнения одного человека. К данной группе относятся: метод интервью, метод анкетного опроса, аналитический метод, метод написания прогнозного сценария.

Метод интервью. Основная особенность данного метода заключается в том, что исследователь (опрашивающий) и эксперт находятся в непосредственном контакте. Необходимая информация извлекается в ходе беседы. Направление беседы задает опрашивающей по заранее составленным вопросам относительно перспектив развития прогнозируемого объекта. Ему принадлежит ведущая роль в проведении беседы. Эксперт выступает в роли источника прогнозной информации.

Есть три основные формы проведения интервью: свободная беседа; интервью по типу вопрос-ответ; интервью в форме перекрестного допроса (последняя форма интервью осуществляется с привлечением нескольких интервьюеров, как правило двух. Они стремятся получить максимум информации по проблеме, одновременно проверяя ее на непротиворечивость).

Достоинство метода интервью заключается в том, что непосредственный контакт эксперта и интервьюера позволяет направить беседу в необходимом направлении. Недостатки метода: 1) влияние на прогнозные оценки субъективных факторов (например, психологическое давление интервьюера на эксперта); 2) не каждый эксперт может делать экспромтом хорошие и грамотные заключения.

Метод анкетного опроса. Для получения информации эксперту предлагается для заполнения анкета, содержащая набор вопросов, каждый из которых логически связан с центральной задачей исследования. Анкета заполняется экспертами самостоятельно, поэтому все вопросы должны быть сформулированы предельно ясно и однозначно.

В зависимости от целей исследования при составлении анкет используются вопросы двух видов: открытые и закрытые. В формулировке закрытых вопросов содержатся возможные варианты ответов. На вопросы открытые (свободные) ответы экспертом могут быть даны в любой форме.

Достоинство открытых вопросов – возможность обнаружить с помощью эксперта новые, оригинальные варианты решения проблемы, а их недостаток – трудоемкость анализа ответов, так как возможен широкий диапазон ответов и трудно сформулировать общегрупповое мнение.

Таким образом, использование анкет с вопросами закрытого типа обосновано, когда необходимо получить согласованную позицию экспертов, и нежелательно, когда прогнозируется сложный процесс, у которого может быть несколько вариантов, путей развития.

В общем случае анкета экспертного опроса включает в себя три основные части:

• обращение к эксперту для введения его в сущность прогнозной разработки, где описаны цель и задачи прогнозного исследования, методические особенности его проведения, роль и функции эксперта;

• описание проблемы, предлагаемой эксперту для анализа;

• совокупность вопросов или заданий эксперту;

Анкетирование может быть очным и заочным. Плюсы заочного анкетирования – возможность привлечения экспертов, живущих в разных городах, меньшая нагрузка на организаторов. Минусы - возможное неправильное истолкование вопросов, затяжки с ответами. Минус очного анкетирования - влияние организаторов на эксперта.

Аналитический метод предполагает проведение экспертом логического анализа какой-либо прогнозной ситуации, и его результатом является аналитическая докладная записка. Он предполагает самостоятельную работу эксперта над анализом тенденций, состояния и путей развития прогнозируемого объекта. Данный метод мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний. Экспертиза позволяет обойти трудности долгосрочного учета каче­ственных изменений объекта прогнозирования, связанных как с внут­ренней логикой развития объекта, учета взаимосвязей качественных признаков, так и с изменением внешних факторов.

Метод написания прогнозного сценария основан на определении логики развития экономического процесса во времени при различных условиях. В сценарии указывается генеральная цель развития объекта прогнозирования, выявляются основные факторы (и положительные, и негативные), влияющие на развитие объекта, формулируются критерии для оценки различных процессов, связанных с развитием объекта прогнозирования. Ценность сценария тем выше, чем меньше степень неопределенности, т.е. чем больше степень согласованности мнений экспертов об осуществимости событий, развитии процесса.

Как правило, каждый сценарий состоит из трех частей:

• базовый блок (отображение существующей реальности и динамических характеристик прогнозируемой социально-экономической системы);

• варианты будущего развития объекта, строящиеся на основе многочисленных гипотез и возможных последствий, что позволяет сформировать дерево будущего;

• конечные результаты прогноза для различных временных горизонтов.

Прогнозный сценарий обычно имеет многовариантный характер и рассматривает три линии поведения: оптимистическую, пессимистическую и рабочую. Первая отражает развитие объекта в наиболее благоприятной ситуации, вторая - в наименее благоприятной. Рабочая линия отражает развитие в условиях противодействия отрицательных факторов, появление которых наиболее вероятно.

Таким образом, методы индивидуальных экспертных оценок базируются на возможности максимального использования индивидуальных способностей экспертов и минимизации психологического давления, которое может быть оказано на отдельных работников.

Наиболее достоверными являются коллективные экспертные оценки.

Методы коллективных экспертных оценок предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами.

Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данного объекта. Количество экспертов, привлекаемых для разработки прогноза, может колебаться от 10-150 чел. в зависимости от сложности объекта. После опроса осуществляется обработка материалов. Окончательная оценка может определяться как среднее суждение или как среднее арифметическое значение оценок всех экспертов.

Метод коллективной генерации идей («мозговой атаки», «мозгового штурма») представляет собой способ получения прогнозных оценок в ходе совместного обсуждения как результата коллективного творчества людей. Он включает два элемента: выявление вероятностных вариантов развития объекта прогнозирования и их оценку.

Следует выделить шесть главных правил проведения «мозговой атаки».

1. Запрещается всякая критика предлагаемых идей на начальных этапах.

2. Время одного выступления ограничено (1-2 минуты).

3. Допустимы многократные выступления одного и того же участника.

4. Приоритет выступления имеет эксперт, развивающий мысль предыдущего высказывающего.

5. Обязательная фиксация всех высказанных идей.

6. Оценка идей, выдвинутых на предыдущих этапах.

Метод «мозговой атаки» требует следующие виды обеспечения:

1) организационное обеспечение, заключающееся в выборе ведуще­го, формировании групп генераторов идей и экспертов, организации их работы в соответствии с правилами и принципами метода;

2) методологическое обеспечение, т.е. обучение специалистов принципам, правилам и содержанию этапов метода, выбору разно­видностей метода и практическому освоению всех необходимых про­цедур;

3) психологическое и мотивационное обеспечение, включающее психологическую настройку и стимулирование творческой работы спе­циалистов, привлекаемых в группы генераторов идей, и экспертов с учетом особенностей этих групп;

4) информационное обеспечение, заключающееся в подготовке ин­формационно-справочных и методических материалов для формули­рования проблемы, постановки задач, а также анализа выдвинутых идей.

Метода «мозговой атаки» реализуется шесть этапов:

1 этап - формирование группы участников «мозговой атаки» (по численности и составу). Число участников может быть различным в зависимости от сложности объекта прогнозирования. Опыт показывает, что наиболее продуктивны группы в 10-15 человек. Группа участников может состоять из лиц одного ранга, если участники знают друг друга, и из лиц разного ранга, если участники не знакомы. Специализация участников в области объекта прогнозирования необязательна, даже рекомендуется на первом этапе привлекать специалистов из разных областей знаний, разбирающихся в вопросах объекта прогнозирования.

2 этап - составление проблемной записки. Проблемная записка составляется рабочей группой (организаторами опроса) и содержит два описания: описание самого метода «мозговой атаки», его правил, приемов; описание проблемной ситуации, которое содержит раскрытие причин возникновения проблемы, их анализ, возможные последствия проблемной ситуации, анализ мирового опыта решения проблемы (если он имеется), некоторые статистические показатели, характеризующие объект прогнозирования, раскрытие целей, которые преследуют организаторы опроса.

3 этап – генерация идей или непосредственно опрос экспертов. Этот этап начинается с того, что ведущий раскрывает содержание проблемной записки, концентрирует внимание экспертов на решаемых вопросах, на правилах проведения метода. Активная роль ведущего предполагается только в начале 3 этапа. После подъема активности участников процесс выдвижения идей идет спонтанно. Третий тур по времени должен занимать от 20 минут до 1 часа в зависимости от активности экспертов. Целесообразно записывать все высказывания.

4 этап - систематизация идей, высказанных на третьем этапе. Последовательность: а) составляется номенклатурный перечень всех высказанных идей; б) определяются дублирующие и дополняющие идеи, которые объединяются и формулируются в виде одной комплексной идеи; в) составляется перечень идей по группам. В каждой группе идеи располагаются от более общих к частным. Это делается рабочей группой (организатором опроса).

5 этап - деструирование (разрушение, критика) систематизированных идей. На этом этапе состав экспертов меняется, рекомендуется оставить небольшое число лиц (5-8 человек), наиболее высококвалифицированных в рассматриваемой области. Экспертам сообщаются результаты четвертого этапа, и предлагается высказаться с критическими замечаниями по вопросу практической реализации высказанных идей. Наиболее ценными на данном этапе являются контридеи, высказанные вслед за проведенной критикой. Рекомендации по продолжительности пятого тура - не более 1,5 часов. Данный этап продолжается, пока каждая из систематизированных групп идей не подвергнется критике.

6 этап – оценка критических замечаний и составление списка практически приемлемых идей. Рабочая группа отбирает те идеи, которые не подверглись критике на пятом этапе, или наиболее интересные контридеи, которые и закладываются в основу разработки прогноза.

Достоинствами этого метода являются возможность получения результата за короткий промежуток времени и возможность вовлечения в творческий процесс одновременно большого количества экспертов.

К числу важнейших недостатков метода коллективной генерации идей относятся значительный уровень информационного шума, создаваемого тривиальными идеями, спонтанный и стихийный характер генерации идей.

Метод Дельфи – один из наиболее распространенных интуитивных методов прогнозирования. Он был разработан в 1963 г. американской корпорацией «Рэнд» и использован впервые для построения прогноза числа изобретений в различных отраслях науки к 2010 г. В России он начал применятся с 70-х годов.

Метод Дельфи позволяет обобщить мнения экспертов и сформулировать единое групповое мнение. Оценка будущего развития получается в форме ответов на вопросы, задаваемые участникам по несколько раз.

Этот метод имеет три особенности: а) анонимность экспертов, т.е. участники не знакомы, а если знакомы, то не знают, что они участники; б) многотуровая процедура опроса экспертов посредством их анкетирования; в) использование результатов предыдущего тура.

В результате обработки анкет экспертов организаторами формулируется коллективное мнение. Эта информация сообщается экспертам, их просят переосмыслить свои высказывания и в случае несогласия объяснить причины этого. Данная процедура повторяется 3-4 раза, в результате чего организаторы добиваются сужения диапазона экспертных заключений. Статистическая характеристика группового ответа заключается в том, что организаторы составляют прогноз, содержащий точку зрения большинства экспертов.

Американская практика показала, что организация и процедура проведения прогнозов с помощью МД обходится инициаторам в 50% случаев до 5000 долларов, известны случаи и до 100000 долларов. Общее время реализации процедуры составило в 75% случае от 6 до 8 месяцев.

Этапы (туры) метода Дельфи.

1) определяется коллектив экспертов, им рассылается первый вариант вопросов в специально составленных анкетах;

2) после сбора и получения анкет выделяются те варианты, за которые высказалось большинство. Организаторы оценивают в балльной системе варианты по определенной схеме;

3) все участники получают результаты второго тура, и их просят подумать над вопросом и, если сочтут нужным, поменять свое мнение (выдается анкета другого вида);

4) организаторы собирают анкеты и обрабатывают их. Экспертам вновь выдаются анкеты с тем же вопросом по форме 3-го тура. Задача организаторов – добиться сужения диапазона высказываний экспертов, чтобы четко выделить одно, за которое проголосует большинство. Количество туров может быть 5-6, если оценки экспертов не меняются, то опрос прекращается.

Данный метод имеет следующие недостатки: невозможно учесть влияние, оказываемое организаторами на экспертов при составлении анкет; велики затраты времени и средств.

Метод экспертных комиссий основан на открытой дискуссии по обсуждаемой проблеме для выработки единого мнения экспертов. Дискуссия происходит за круглым столом, рекомендуемое число участников 15-20 человек. Для получения оценки данным методом создается рабочая группа, которая осуществляет назначение экспертов, проведение опроса, обработку материалов, анализ результатов коллективной экспертной оценки.

В процессе работы уточняются основные направления развития объекта, составляется матрица, отражающая генеральную цель, подцели и средства их достижения, т.е. направления научных исследований и разработок, результаты которых могут быть использованы для достижения цели.

Далее разрабатываются вопросы для экспертов, содержание которых определяется спецификой прогнозируемого объекта. Опрос экспертов и статистическая обработка материалов характеризуют обобщенное мнение и степень согласованности индивидуальных оценок экспертов. Полученные данные служат исходной базой для синтеза прогнозных гипотез и вариантов развития исследуемого явления или процесса. Результат представляет собой совокупность оценок относительной важности, назначенных экспертами для каждого из оцениваемых направлений исследования, и разработок, выражающихся в баллах и принимающих значения от 0 до 1, от 0 до 10, от 0 до 100 и т.д. Эти оценки по определенному вопросу сводятся в таблицы, строки которой соответствуют направлениям исследования, а столбцы – порядковым номерам экспертов.

Достоинство метода экспертных комиссий заключается в возможности роста информированности экспертов, так как при обсуждении они обмениваются точками зрения, что благоприятно влияет на точность прогноза. К недостаткам можно отнести следующие факторы: 1) группа экспертов в своих суждениях руководствуется логикой компромисса; 2) отсутствие анонимности может привести к тому, что эксперты присоединят свои голоса к более компетентным, авторитетным лицам при своем отличном мнении и в итоге дискуссия может свестись к полемике авторитетов; 3) существенным фактором при выработке коллективного мнения может стать активность некоторых экспертов, которые не являются наиболее компетентными; 4) в результате отсутствия анонимности некоторые эксперты могут не пожелать изменять свое мнение в результате того, что они его уже высказали публично, хотя большинству удалось их переубедить.

Метод морфологического анализа. Разработано не­сколько разновидностей метода морфологического анализа: метод десятичных матриц поиска; «организующих понятий»; морфологи­ческого классифицирования. Метод морфологического анализа и его разновидности основаны на использовании стратегии направ­ленного систематического поиска множества потенциально воз­можных решений задачи в пределах морфологического множества, соответствующего структуре и особенностям задачи. Метод обес­печивает получение большого числа возможных решений по лю­бой изучаемой проблеме при сравнительной легкости процедуры поиска.

Метод морфологического анализа применяется для решения про­гностических задач в различных сферах социально-экономического и научно-технического развития в нашей стране и за рубежом. Результа­ты применения метода позволяют говорить о его эффективности и перспективности. В нем достигнуто разумное сочетание творческих и механистических процедур при его использовании. Практика примене­ния метода показывает, что с его помощью можно получать множест­во нестандартных решений. Наиболее широко он используется для синтеза объекта прогнозирования. Только в рамках морфологического метода возникает задача содержательной интерпретации соответствую­щих формальных прогнозов.

Рассмотрим алгоритм реализации метода морфологического анализа:

1. Четкая формулировка проблемы, по которой необходимо при­нять решение.

2. Определение перечня всех основных морфологических призна­ков объекта, т.е. его значимых характеристик или свойств.

3. Составление морфологической матрицы, в которой наряду с признаками указываются всевозможные альтернативные значения каждого из них (для нас — это частичные решения).

4. Анализ полученных данных, их оценка и выбор приемлемого ре­шения.

Поясним каждый этап на примере. Для облегчения понимания рас­смотрим техническую сторону вопроса, так как экономическая и соци­альная составляющие настолько сложны, что при постановке и реше­нии задачи могут вызвать затруднение даже у специалиста, исполь­зующего данный метод на практике.

Допустим, перед автомобилестроительным заводом стоит задача создания нового автомобиля, способного достойно конкурировать на внутреннем и внешнем рынке, а для этого необходимо опередить уже имеющиеся модели, т.е. нужно сделать изобретение, улучшающее тех­нические и эксплуатационные характеристики автомобиля и снижаю­щее себестоимость его выпуска.

Речь идет о нахождении принципиально нового сочетания уже из­вестных технических свойств. Для этого очень удобен морфологиче­ский метод.

1. Формулировка проблемы. Суть проблемы состоит в том, чтобы разработать новую модель автомобиля. Это и есть четкая форму­лировка.

2. Определение признаков. В данном случае это некоторые существенные характеристики модели, достаточно полно ее опреде­ляющие. Для определения признаков в рамках метода существуют сле­дующие условия:

а) признаки должны быть существенными;

б) они должны быть независимыми друг от друга;

в) признаки должны полностью охватывать все аспекты проблемы;

г) количество признаков не должно быть неоправданно большим, чтобы не усложнять работу с матрицей.

В нашем случае существенными признаем следующие признаки:

A. Тип кузова и салона автомобиля — для эргономического удоб­ства водителя.

B. Тип двигателя автомобиля.

C. Тип топлива.

D. Вид тормозной системы.

Все эти признаки являются существенными для обеспечения нор­мальной работы машины, независимыми и достаточно полно охваты­вают проблему рассмотрения параметров автомобиля; следовательно, удовлетворяют условиям.

3. Составление матрицы. Она будет выглядеть следующим образом:

Где А₁— кузов типа седан; А₂ — универсал; А₃ — люкс.

В₁ – шестицилиндровый прямой двигатель; В₂ – типа V6; В₃ – это двенадцатицилиндровый прямой; В₄ — типа V12.

С₁ – бензин; С₂ – дизель; Сз – газ; С₄ – спирт; С₅ – солнечная энергия.

D₁ — гидравлические тормоза; D₂ — механические тормоза.

_Х1-7 — другие выделенные признаки.

Следует заметить, что для полного обзора всех возможных частич­ных решений в каждую строку следует добавить вариант значения «Другое решение». Тогда матрица будет отвечать принципу глобаль­ности. В нашем случае возможных решений всего 3x4x5x2=120. Конечно, многие из них уже применялись, многие нерациональны и лишь некоторые принципиально новые. Однако рассмотрены будут все, и мы можем не бояться упущения каких-либо вариантов, так как никогда нельзя сказать наверняка, какое именно решение бессмыслен­но, а какое приемлемо.

4. Анализ и выбор приемлемого решения. В данном слу­чае анализ проводится специально отобранными экспертами (для этой цели могут применяться другие методы, например, экспертные оцен­ки), компетентными в данной области. Выбранные варианты соединя­ются в матрице ломаными линиями, и та линия, частота которой наи­большая, признается приемлемым решением. Например, это может быть A|-B2-C₂-D₂ (седан, V6, дизель, механические тормоза). Можно выбрать больше, чем одно решение по убыванию частоты — как бы запасные варианты

Метод «635». Группа из шести участников анализирует и формулирует заданную (проблемную) ситуацию. Каждый участник заносит в формуляр три предложения по решению задачи (в течение 5 мин) и передает формуляр соседу (формуляр ходит по кругу). Заполняющий формуляр принимает к сведению предложения своего предшественника, а под ними в трех полях вносит еще три собственных предложения. Эти предложения могут использоваться в дальнейшей разработке записанных решений, но могут выдвигаться новые. Процесс заканчивается, когда участники обработали все формуляры. Технология позволяет получить до 108 предложений.