Тема 10. Методы, принятия решений, направленные на использование интуиции и опыта специалистов

1. Методы типа "мозговой атаки" или "коллективной генерации идей"

Концепция "мозговой атаки" получила широкое распространение с начала 50-х годов как метод, направленные на открытие новых идей и достижения согласия группы людей на основе интуитивного мышления.

Методы этого типа известны под названиями "мозгового штурма", "конференции идей", "коллективной генерации идей".

Обычно при реализации этих методом стараются выполнить определенные правила, суть которых сводится к тому, чтобы обеспечить как можно большую свободу мышления участников и высказывания ими новых идей:

приветствуются любые идеи, даже те, которые кажутся абсурдными или сомнительными;

не допускается критика;

не объявляется идея ложной и не прекращается ее обсуждение;

высказывается как можно больше идей, стараются создавать как бы "цепную реакцию" идей.

В зависимости от принятых правил и строгости их выполнения различают прямую мозговую атаку, метод обмена мнениями, методы типа комиссий, судов (одна группа выносит как можно больше предложений, а вторая - максимально критикует). Часто мозговую атаку проводят в виде деловой игры.

На практике подобной сессии коллективной генерации идей являются совещания разного рода - совещания конструкторов, ученых и научных советов, специально создаваемых комиссией.

В реальных условиях трудно обеспечить жесткое выполнение правил и создать "атмосферу мозговой атака" - часто мешает влияние должностной структуры организации, трудно собрать компетентных специалистов в одно время в одном месте.

2. Методы типа "сценариев"

Методы подготовки и согласования представлений о проблеме (или объекте), изложенных в письменном виде, получили название "сценариев".

Сценарий - любой документ, содержащий анализ рассматриваемой проблемы и предложения по ее решению или по развитию системы.

Как правило, предложения пишутся экспертами в начале индивидуально, а затем формируется согласованный текст.

Сценарий предусматривает не только содержательные рассуждения., помогающие не упустить детали, которые невозможно учесть в формальной модели, но и содержит результаты количественного анализа с предварительными выводами.

Группа экспертов, подготавливающая сценарий, обычно пользуется правом получения необходимой информации.

Сценарий позволяет создать предварительное представление о проблеме (системе) в ситуациях, когда не удается сразу ее отобразить формальной моделью. Он является основой для разработки более формализованного представления исследуемой проблемы (или системы).

3. Методы экспертных оценок

Возможность применения метода экспертных оценок, обоснование их объективности базируется на том, что неизвестная характеристика исследуемого явления. трактуется как случайная величина, отражением закона распределения которой является индивидуальная оценка. специалиста эксперта о достоверности и значимости того или иного события. При этом предполагаются: истинное значение исследуемой характеристики находится внутри диапазона оценок, получаемых от группы экспертов; обобщенное коллективное мнение является достоверным.

Таким образом, применять методы экспертных оценок ко всякой проблеме невозможно. Предлагается разделить все множество проблем на 2 класса.

К первому относятся проблемы, хорошо обеспеченные информацией. Для них можно использовать принцип "хорошего измерителя", считая эксперта хранителем большого объема информации, а групповое мнение экспертов - близким к истинному.

Ко второму классу. относят проблемы, в отношении которых знаний для уверенности в справедливости названных предположений недостаточно; экспертов нельзя рассматривать как хороших измерителей. В этом случае необходимо осторожно подходить к обработке результатов экспертизы, так как мнение одного эксперта, уделяющего внимание малоизученной проблеме, может оказаться наиболее значимым, а при формальной обработке оно будет потеряно. Использование методов осреднения, справедливых для "хороших измерителей", в данном случае может привести к существенным ошибкам.

Типичные задачи, решаемые с помощью метода экспертных оценок:

- распределение ресурсов по проблемам различной приоритетности;

- ранжирование целей и задач по степени важности;

- определение прогнозных значений экономических параметров;

- оценка основных факторов, влияющих на проблему.

Оценки экспертов предполагают использование определенных методик, состоящих из ряда методов. Наиболее часто используют следующие:

- парное сравнение (предлагается выбрать одну из двух альтернатив);

- ранжирование (предлагается упорядочить несколько альтернатив по одному или нескольким критериям);

- непосредственная оценка (присвоение оценок каждой альтернативе по определенной шкале);

- последовательное сравнение (комплексная процедура, сочетающая ранжирование и непосредственную оценку).

При проведении экспертного оценивания следует помнить: экспертные оценки несут в себе не только узко субъективные черты, присущие отдельным экспертам, но и коллективно-субъективные черты, которые не исчезают при обработке результатов опроса. То есть на экспертные оценки следует смотреть как на некоторую "общественную точку зрения", зависящую от уровня научно-технических знаний общества относительно предмета исследования, которая может меняться в зависимости от уровня знаний о системе и наших представлений о ней.

Следовательно, экспертный опрос - не одноразовая процедура. Такой способ получения информации о сложной проблеме, характеризующейся большой степенью неопределимости, должен быть "механизмом" в сложной системе, должна быть создана регулярная система работы с экспертами.

4. Методы типа "Дельфы" (от античного города Дельфы, известного своим оракулом)

Первоначально дельфы-метод был предложен О.Хелмером как итеративная процедура при проведении мозговой атаки, которая способствовала бы снижению влияния психологических факторов при повторении заседаний и повышении объективности результатов. Однако, дельфы-процедуры стали средством повышения объективности экспертных опросов с использованием количественных оценок при оценке "деревьев цели" и разработке сценариев.

Основные средства повышения объективности результатов использование обратной связи, ознакомление экспертов с результатами предшествующего тура опроса и учет этих результатов при оценке значимости мнений экспертов.

Исходная предпосылка этого метода - гипотеза о том, что обобщающее мнение экспертов обладает необходимой степенью надежности и достоверности. При этом истинная величина характеристик лежит в пределах диапазона оценок данной группы экспертов. Надежность полученных оценок зависит от правильного подбора экспертов, от их функции, квалификации, информативности в изучаемых вопросах. Их знание предмета и их аналитические способности проверяются путем тестирования. Точность результата зависит от статистической обработки результатов исследования. Разрабатывается комплекс задач, выдвигаемых перед экспертами. Используются гипотезы логического обоснования, строятся гипотезы относительно результатов исследования. На этой основе разрабатывается анкета.

Далее формируется представительная группа экспертов. Численность ее должна быть оптимальной и исходить из потенциально возможных кандидатур. Большое число групп затруднит обработку данных, может повысить степень разброса мнений в ответах.

Малое число усиливает влияние индивидуальных оценок и повышает вероятность случайных ошибок. Следует исходить из принципа разумной достаточности, согласно которому увеличение числа экспертов на единицу (N+1) практически не повлияет на степень наибольшей дисперсии ответов экспертов.

Могут быть получены оценки компетенции экспертов. Например, обобщенное мнение экспертов может быть выражено формулой:

где x_ij - оценка относительной важности (в баллах) i-и экспертом j-му элементу, k_i - коэффициент компетентности i-го эксперта, учитывающий степень знакомства в обсуждаемых вопросах (К_зi) и аргументированности ответа (К_аj).

где i = 1,...,m - номера экспертов; j=1,...,n - номера оцениваемых элементов дерева целей.

0<х_j< 100, чем больше, тем важнее j-й элемент дерева целей.

Для каждого j-го элемента определяется дисперсия экспертных оценок.

Чем меньше, тем больше согласованность ответов и, следовательно, надежность ответов.

Опрос экспертов - анонимный. Каждый эксперт не знает, кто еще привлечен к работе и не ознакомлен содержанием остальных анкет. Составляется ранжированное распределение ответов по атрибутивным или количественным признакам. Исчисляются статистические характеристики ответов: средние величины, показатели колеблемости. Медиана рассматривается как групповое мнение экспертов.

После выявления преобладающих суждений экспертов проводится работа по сближению их точек зрения. Экспертов знакомят с обоснованиями причин расхождений мнений экспертов, оценки которых сильно разнятся со средней оценкой. Каждому эксперту предоставляется право изменить свою оценку. После этого процедура повторяется до тех пор, пока показатели разброса мнений не снизятся до минимума.

Оценивают степень надежности эксперта:

,где N - общее число правильных оценок; n - число правильных оценок, произведенных данным экспертом.

Для повышения результативности опросов и активизации экспертов иногда сочетают процедуру "Дельфы" с элементами деловой игры эксперту предлагают проводить самооценку, ставя себя на место конструктора или работника аппарата управления и т.п.

Пример. метод экспертных оценок (балловый метод)

Балловый метод широко используется при решении множества задач планирования и прогнозирования, например определении возможных вариантов решения управленческой задачи с количественным исчислением предпочтительности каждого из вариантов, количественной оценки степени влияния на анализируемый объект различных факторов и многих других.

В каждом конкретном случае этапы и последовательность их проведения имеют свою специфику, тем не менее, существует общая методология баллового метода, которую в формализованном варианте можно представить следующим образом:

формулирование цели проведения экспертного анализа;

определение группы специалистов, обеспечивающей проведение экспертизы;

разработка и обеспечение проведения экспертного анализа:

формирование группы экспертов, участвующих в экспертизе;

разработка анкеты с формулированием вопросов, исключающих их двоякую трактовку и ориентированных на количественную оценку;

проведение анкетирования;

анализ анкет;

проведение анкетирования во второй, третий, четвертый раз в зависимости от сложности исследования и требуемой точности;

обобщение результатов.

В основном исполнение практически всех этапов носит технический характер.

Наиболее трудно сформировать группу экспертов, поскольку отбор кандидатов носит субъективный характер.

Как правило, группа составляется из 8 - 12 наиболее компетентных специалистов. Безусловно, возможны случаи, когда один специалист может сделать рекомендации, более подходящие к действительности, нежели коллектив профессионалов. Теоретически возможен и обратный вариант, когда данные множества привлеченных к анкетированию людей будут более точными, чем информация, полученная от экспертной группы.

В общем случае полагают, что группа экспертов в количестве 8 — 12 человек соответствующей компетенции способна произвести достаточно полный анализ даже таких сложных явлений, как оценка перспектив развития какого-либо научного направления.

К экспертам предъявляют определенные требования, прежде всего такие, как:

профессиональная компетентность, эрудированность (что при узкой специализации встречается не часто);

высокие моральные качества (поскольку анкетирование должно осуществляться анонимно);

отсутствие прямой заинтересованности в результатах анкетирования.

Формировать группу экспертов можно различными способами. Ответственные за проведение экспертизы могут на свое усмотрение решить вопрос о привлечении той или иной кандидатуры к анкетированию.

При проведении анализа очень крупных объектов целесообразно сформировать генеральную совокупность кандидатов в эксперты. Для этого запрашивают наиболее известных авторитетов, которые называют специалистов, способных, по их мнению, выполнить функции экспертов. После этого обращаются к названным кандидатам, которые, в свою очередь, предлагают новые имена. Эта процедура осуществляется до тех пор, пока не будет достигнута полная повторяемость называемых фамилий, после чего формирование генеральной совокупности потенциальных экспертов можно считать законченным.

Сформировав генеральную совокупность экспертов, их оценивают количественно. В баллах оценивают: стаж работы, ученую степень, печатные труды и т. д.

Оценка экспертов может быть осуществлена в произвольной, по усмотрению организаторов, форме. Надежных, гарантированных, критериев отбора в этом случае также не существует.

Достаточно сложным является этап анкетирования, т. е. проведения собственно экспертного анализа. В научной литературе встречаются серьезные теоретические разработки, касающиеся методов экспертных оценок, однако конкретных примеров с цифровыми расчетами практически не встречается.

Поэтому в качестве иллюстрации рассмотрим следующий несложный пример.

На предприятии необходимо было произвести комплекс работ, связанных со сбытом вновь освоенной продукции Работа была поручена коллективу из пяти исполнителей. По окончании работы, поскольку исполнители различались и уровнем квалификации, и отношением к делу, и личными, в среде возможных потребителей, связями, и просто удачливостью, необходимо было определить личный вклад каждого.

В данном случае экспертный анализ несложен и может быть осуществлен в сжатые сроки.

Прежде всего, проводится процедура ранжирования исполнителей. Каждый эксперт располагает исполнителей работ по доле их участия в порядке, который представляется ему наиболее рациональным, и приписывает каждому исполнителю числа натурального ряда - ранги. При этом ранг 1 получает исполнитель, внесший, по мнению эксперта, наибольший вклад в проведение комплекса работ, ранг 2 —второй по доле участия исполнитель и так далее, по нарастающей.

Определим число экспертов в нашем случае —8.

Результаты их анонимного анкетирования могут быть представлены в следующем виде (табл. 1).

Таблица 1

Ранжирование исполнителей по доле их участия в проведении работ

Поскольку среди рангов, данных экспертами, есть одинаковые, то необходимо произвести стандартизацию рангов, которая является своего рода масштабированием и цель ее — обеспечить, чтобы сумма рангов, данных каждым экспертом, равнялась сумме членов натурального ряда от 1 до п (п —число оцениваемых параметров, в нашем случае п = 5).

Стандартизованные ранги определяются как средние суммы мест, поделенных между собой различными параметрами (в нашем примере — исполнителями) с одинаковыми рангами.

После стандартизации рангов исполнителей по доле их участия в проведении работ эту таблицу можно представить в следующем виде (табл..2).

Таблица.2

Ранжирование исполнителей по доле их участия в проведении работ (после стандартизации)

Поскольку в нашем примере Иванов и Петров в анкете № 1 разделили второе-третье места, то им соответственно присваивается ранг 2,5.

Сумма рангов, назначенных экспертами j-му параметру (исполнителю), определяется по формуле

R_ij--- ранг, данный i-м экспертом j-му параметру (исполнителю).

Исполнитель, у которого сумма рангов будет наименьшей, считается внесшим наибольший вклад в проведение работ.

Процедура ранжирования исполнителей должна завершаться расчетом коэффициента конкордации, показывающим степень согласованности мнений экспертов.

Оценка согласованности мнений экспертов может осуществляться в следующей последовательности.

1.Определяется сумма рангов каждого исполнителя.

2.Рассчитывается средняя сумма:

, где m –число экспертов, n- число исполнителей.

3. Находится алгебраическая разность между суммой рангов j-го параметра и средним значением:

d_j= S_j-

4. Рассчитывается сумма квадратов алгебраических разностей:

K= Sd²_j

Это можно представить следующим образом:(табл. 3).

Таблица 3

Оценка согласованности мнений экспертов

Сумма квадратов алгебраических разностей: '

К = 25 + 6,25 + 182,25 + 210,25 +42,25 = 466

В теории экспертных оценок показано, что если мнения всех экспертов совпадают, а среди рангов, данных экспертами, нет одинаковых, то средний квадрат алгебраических разностей максимален и рассчитывается по следующей формуле:

К = К_max = т²(п³-п).

В нашем случае К_max=-8²(5³-5) = 640, что несложно проверить на числовом примере (табл. 4):

Таблица 4

Сумма квадратов алгебраических разностей:

К= 256 + 64 + 0 64 + 256 = 640.

Рассчитывается коэффициент конкордации

К_конк= = =0,73

Если коэффициент конкордации равен или близок к нулю, то это означает практически полную несогласованность мнений экспертов. При приближении коэффициента конкордации к единице можно говорить о единстве мнений экспертов.

Дальнейшую работу с группой экспертов целесообразно проводить лишь в случае, когда коэффициент конкордации больше или равен 0,40.

Если же он меньше 0,40, то это значит, что либо оцениваемые параметры близки друг к другу и нет необходимости рассчитывать их количественное различие, либо эксперты предложили компенсирующий друг друга порядок ранжирования (эксперты сами оказались некомпетентными и не смогли придти к единому мнению в ранжировании параметров).

В любом случае рекомендуется начать работу снова, но уже со второй группой экспертов.

В нашем примере коэффициент конкордации больше 0,4 и мы можем перейти к следующему этапу, который предусматривает количественное определение доли каждого исполнителя.

Долю каждого исполнителя будем определять методом парных сравнений. Этот метод предполагает сравнение 'вклада каждых двух исполнителей (попарное сравнение) по десятибалльной шкале.

Рассмотрим ответы первого эксперта на анкету попарного сравнения (табл..5).

Таблица.5

Анкета попарного сравнения

Эксперт, заполняющий такую матрицу, проставляет на пересечении соответствующих строки и столбца двух сравниваемых исполнителей вклад каждого. Например, вклад Сидорова в сравнении с вкладом Петрова эксперт оценил соотношением 7 к 3. В сумме для каждой пары исполнителей дается 10 баллов, которые между ними эксперты делят в соответствующем отношении. Считается, что предложить эксперту более 10 баллов для распределения нецелесообразно, поскольку ему трудно будет прочувствовать нужное соотношение, а менее 10 баллов не дадут требуемой точности. Для матрицы пять на пять каждый эксперт должен сделать 10 оценок по 10 баллов, что в итоге дает 100 единиц. После получения анкет попарного сравнения от экспертов результаты суммируются (табл. 6).

Таблица 6

Сводная анкета попарного сравнения

Таким образом, если принять всю проделанную работу за единицу, то вклад каждого исполнителя в долях единицы показывает табл. 7.

Таблица 7

Доля исполнителей в общем объеме выполненной работы

Полученные результаты могут быть использованы для принятия управленческих решений.

Следует еще раз отметить, что метод экспертных оценок универсален и пригоден для решения различных проблем.