Метод экспертной классификации

Анкетные методы (метод ранжирования, метод парных сравнений, метод экспертной классификации, метод Дельфи), их преимущества и недостатки

Анкетные методы. С помощью этих методов может быть получена как количественная, так и качественная информация.

Достоинства: анкетных методов по сравнению с дискуссионными: простота проведения, относительно небольшая стоимость (исключение – метод Дельфи), возможность одновременного охвата больших групп конечных пользователей и возможность получения количественных результатов на основе статистического анализа полученной экспертной информации.

Недостатки: возможность влияния на результаты работы составителей анкеты, незнание отношения опрашиваемого к вопросам в анкете, неполнота ответов и отсутствие возможности частичных ответов на вопросы, а также неуверенность в том, правильно ли были поняты вопросы, поставленные в анкете.

Для получения и обработки могут использоваться вербально-числовые шкалы. В состав таких шкал входят содержательно описываемые наименования её градаций и соответствующие им численные значения или диапазоны численных значений. Кроме того, при обработке анкет необходимо принимать во внимание и такую важную информацию как, компетентность экспертов, вес каждого отдельного критерия (значимость), настрой каждого участника (пессимистический / оптимистический) и т. д.

Метод ранжирования

Состоит в том, что эксперту предлагается присвоить числовые ранги каждому из приведенных в анкете факторов таким образом, чтобы эти факторы в итоге стали упорядоченными в соответствии с возрастанием (так называемое прямое ранжирование) или убыванием их предпочтительности (обратное ранжирование); в некоторых случаях допускается указание на равноценность (в таком случае это нестрогое ранжирование). Необходимо также заметить, что ранжирование представимо как оценка в ранговой шкале: рангом объекта (то есть значением оценки) можно считать номер места, которое этот объект занимает в ранжировании при обратной нумерации мест (от худшего к лучшему). Ранжирование удобно применять в следующих случаях:

· когда необходимо упорядочить какие-либо объекты во времени или в пространстве;

· когда нужно упорядочить объекты в соответствии с каким-либо качеством (критерием), но не требуется его точного измерения.

Процедура начинается с того, что эксперту предъявляются отобранные для сравнительной оценки альтернативные варианты, но желательно не более 20 - 30 для их упорядочения по предпочтительности. Если таких вариантов больше, то целесообразно использование соответствующих модификаций метода ранжирования. Например, процедуре ранжирования может предшествовать разбиение факторов на упорядоченные по предпочтению классы, категории, уровни, сорта и т. д.

Ранжирование сравниваемых альтернатив можно осуществлять различными способами. Рассмотрим два из них.

1) Эксперту предъявляется весь набор альтернативных вариантов, и он указывает среди них наиболее предпочтительный. Затем нужно указать наиболее предпочтительный вариант среди оставшихся и так до тех пор, пока не будут проранжированы все предложенные альтернативы.2) Эксперту первоначально предъявляется 2 или больше альтернативных варианта, которые предлагается упорядочить по предпочтениям. Далее предлагаются новые еще неоцененные альтернативные варианты. Эксперт должен определить место вновь предъявленной альтернативы среди проранжированных ранее. Процедура завершается после предъявления и оценки последнего варианта.Полученные данные обрабатываются либо вручную, либо с помощью методов математической статистики. Затем, выявляются наилучшие альтернативы, из которых и формируется окончательное решение. 2.3.10.2. Метод парных сравнений

Один из наиболее распространенных методов. Этот способ оценки состоит в указании предпочтительного объекта в каждой паре объектов (иногда допускается объявление обоих объектов равноценными или несравнимыми). В усложненном варианте этого метода эксперту предлагается баллами оценить интенсивность своего предпочтения для каждой пары объектов.После последовательного предъявления эксперту всех пар альтернативных вариантов определяется их сравнительная предпочтительность по оценкам данного эксперта. В результате парных сравнений, если эксперт оказался последовательным в своих предпочтениях, все оцениваемые варианты могут оказаться проранжированными по тому или иному критерию, показателю, свойству.

Метод экспертной классификации

(Разработанный специалистами Института системного анализа РАН метод экспертной классификации, предназначен для построения полных и непротиворечивых баз знаний).С формальной точки зрения задачу классификации можно представить так: имеются объекты, описываемые многими признаками, необходимо отнести эти объекты к определенным классам решений, наиболее важная характеристика таких задач - их повторяемость: люди решают эти задачи многократно, вырабатывая навыки наиболее успешного, эффективного решения. Эксперт - человек, способный не только «увидеть через заданную совокупность значений отдельных признаков целостный образ объекта», но и выполнить его отнесение к одному или нескольким классам решений, или, другими словами, дать прогноз поведения объекта.

Основные идеи метода экспертной классификации сводятся к следующему:

1. Структуризация проблемы. Удобен язык признаков (или характеристик), описывающий объект исследования. Результатом этого этапа является совокупность признаков, необходимых для полной классификации объектов определенного типа, все возможные значения этих признаков, а также перечень классов решений. Это потом будет представлено эксперту.

2. Предъявление эксперту описаний объекта в привычном виде. Адекватным способом получения информации от эксперта является тот, при котором эксперт решает привычную для себя задачу. Описание проблемы вводится в компьютер. Комбинируя признаки, компьютер «предлагает» эксперту выполнить их сравнения; кроме того, эксперту предоставляется перечень классов решений, из которых он выбирает свой ответ. То есть эксперт относит объект к тому или иному классу решений.

3. Проверка информации эксперта на непротиворечивость. Не ошибающихся экспертов не бывает. Поэтому информацию эксперта следует подвергать проверке, основанной на той или иной концепции. Например - гипотеза о характерности, предполагающая независимость суждений эксперта по отдельным признакам. Альтернативной концепцией может быть гипотеза транзитивности или согласованности суждений и др.

4. Эффективная стратегия опроса эксперта. Здесь возможны два варианта. В первом стратегия опроса является относительно жестко заданной, соответствующей, например, предлагаемой самим же экспертом иерархии уровней решения задачи. Однако представляется более эффективным другой вариант, когда эксперт сам выбирает удобный для него порядок ответов на серии вопросов для того или иного уровня. Компьютерная система должна быть достаточно гибкой и соответствовать индивидуальным особенностям эксперта.

Метод экспертной классификации позволяет строить базы знаний, причем от профессионала не требуется формулировка эвристических правил, полученные знания можно проверить на непротиворечивость, а сам процесс извлечения знаний укладывается в разумные временные рамки. То есть приобретенный при решении тысяч реальных жизненных ситуаций опыт профессионала может быть формализован в базе знаний. Она позволяет создать обучающую систему, которая помогает специалистам за короткий срок приобрести навыки на уровне профессионала.

Метод Дельфи

Пошаговая процедура, направленная на формирование группового мнения экспертов. Позволяет подвергать мнение каждого эксперта критике со стороны всех остальных, не заставляя их фактически сталкиваться лицом к лицу.

Метод разработан в начале 60-х годов. Метод характеризуется тремя основными чертами: анонимностью, регулируемой обратной связью, групповым ответом. Анонимность достигается применением специальных анкет или другими способами индивидуального опроса. Регулируемая обратная связь осуществляется за счет проведения нескольких туров опроса (минимальное количество туров – два) и сообщения экспертам полученных результатов. Групповые оценки формируются на основе статистической обработки индивидуальных оценок экспертов.

В основу метода Дельфи положены следующие предпосылки: поставленные вопросы должны допускать ответы в виде чисел, эксперты должны быть достаточно информированными, каждый ответ эксперта должен быть им обоснован. Чаще всего экспертизы по методу Дельфи проводят, как правило, в 4 тура.

Первый тур. Экспертам сообщаются цели экспертизы и формируются вопросы, на которые они должны ответить (раздается первая анкета, которая может допускать любые ответы). Организатор экспертизы объединяет все предложенные варианты (без повторов), и полученный перечень событий становится основой второй анкеты.

Второй тур. Эксперты анализируют предложенные анкеты и приводят свои оценки изложенных событий вместе с соображениями, объясняющими их правильность. По сделанным оценкам и их обоснованиям организатор экспертизы проводит статистическую обработку полученных данных, группирует мнения экспертов, изучает среднее мнение и крайние точки зрения. Результаты этой работы организатора сообщаются экспертам, и они могут изменить свое мнение (причем работа экспертов идет анонимно).

Третий тур. Третья анкета содержит перечень событий, статистических характеристик, сводных данных (аргументов), дат наступления событий и другие возможные пункты. Экспертам надо рассмотреть аргументы, сформулировать новые оценки в соответствии с полученной информацией, обосновать свою точку зрения при ее значительном отклонении от групповой и прокомментировать (анонимно) противоположные мнения. Пересмотренные оценки и новые аргументы возвращаются к организатору, который вновь их обрабатывает, суммирует все аргументы и подготавливает на этой основе новый перечень решений.

Четвертый тур. Эксперты знакомятся с новыми групповыми решениями, аргументами, критикой и составляют новый перечень, как правило, значительно уменьшенный. Если группа не может прийти к единому мнению и организатор заинтересуется аргументами обеих сторон, то он может собрать экспертов для очного обсуждения.

Характерной особенностью метода Дельфи является уменьшающийся от тура к туру разброс оценок экспертов и их возрастающая согласованность.

Недостатки метода Дельфи:

· желание участников приспособиться к общему мнению группы, желание располагать свои оценки ближе к среднему;

· возможное усиление эффекта толпы (те, кто был уверен в своих аргументах, могли от них отказаться).