Практическая работа №2

«Экспертная оценка свойств системы»

Цель работы: Получить практические навыки экспертного оценивания систем различными методами и обработки результатов оценивания.

Выполнение работы направлено на формирование следующих компетенций:

владение культурой мышления, способность к обобщению, анализу, восприятию информации, постановке цели и выбору путей её достижения (ОК-1);

способность находить организационно-управленческие решения в нестандартных ситуациях и готовность нести за них ответственность (ОК-4);

Самостоятельная работа: Изучение методов выявленияпредпочтений экспертов (ранжирования, парных сравнений, непосредственной оценки, последовательного сравнения).

Литература: [1 (п. 2.3.2), 2 (п.п. 7.3, 7.10), 3 (п. 2.4.3)].

Порядок выполнения:

1. Формирование групп экспертов, выбор объектов оценивания.

Необходимо сформировать небольшие группы по 3-4 человека, выбрать цель сравнения и объекты (системы) для сравнения. Объекты (от трех до пяти) должны быть однородными.

Примеры цели и объектов сравнения:

цель – покупка автомобиля, объекты – «Волга», «Нива», «Ока»;

цель – выбор курорта, объекты – Анталия, Сочи, Ялта;

цель – выбор места торжества, объекты – квартира, кафе, ресторан.

2. Ранжирование систем.

Каждый из членов группы (эксперт) должен проранжировать выбранные системы по предпочтительности. Для эквивалентных систем используются связанные ранги.

Например, пусть эксперт упорядочил объекты x ₁,... x ₅ следующим образом: . Тогда ранги объектов получат следующие значения: r ₃ = 1, r ₅ = 2, r ₁ = r ₄ = (3 + 4) / 2 = 3,5, r ₂ =5.

Затем составляется обобщенная ранжировка методом суммы мест. Для каждого объекта ранги, присвоенные экспертами, суммируются. Обобщенные ранги присваиваются в соответствии с увеличением (убыванием) сумм рангов.

Результаты оформляются в виде таблицы (табл. 5.1).

Таблица 5.1 – Ранжировки объектов

Определите оценку согласованности мнений в виде дисперсионного коэффициента конкордации по формуле:

,

где m – количество экспертов; n – количество объектов ранжирования;

– оценка математического ожидания, равная ;

T_S – показатель связанных рангов в s -й ранжировке, определяемый по формуле , где H_S – число групп равных рангов в s -й ранжировке; h_k – число равных рангов в k -й группе связанных рангов. Если совпадающих рангов нет, то T_s = 0.

На основе вычисленного коэффициента конкордации K дайте качественную характеристику согласованности мнений экспертов, определив ее по таблице 5.2.

Таблица 5.2 – Качественная оценка согласованности мнений экспертов

3. Парные сравнения систем.

Каждый из членов группы составляет матрицу парных сравнений выбранных систем. Значения матрицы определяются по формуле:

В табл. 5.3 приведен пример матрицы парных сравнений с булевыми значениями для объектов, имеющих следующий порядок: .

Матрица должна быть согласована, т. е. для должны выполняться условия:

· w_ii = 1;

· если w_ij = 1, то w_ji = 0;

· если w_ij = 1 и w_jk = 1, то w_ik = 1.

Затем составляется обобщенная матрица с помощью метода нахождения медианы. Все элементы медианы определяются по правилу большинства голосов, т. е. элемент обобщенной матрицы равен 1 только в том случае, если половина или больше экспертов посчитали этот элемент равным 1.

На основе обобщенной матрицы определите ранги систем. Сумма элементов матрицы по строке даст ранг объекта в порядке увеличения предпочтения (самый худший объект получит ранг 1, самый лучший – максимальный ранг), сумма элементов матрицы по столбцу – ранг объекта в порядке убывания предпочтения.

4. Непосредственная оценка систем.

Необходимо выбрать шкалу для оценки систем, например, действительные числа на отрезке [0, 1], балльная оценка (по 5-, 10-, 100-балльной шкале), лингвистические значения (отлично, хорошо, удовлетворительно, и т.д.). В случае использования лингвистических оценок, нужно определить схему их перевода в балльные оценки, например: «отлично» – 1,0; «очень хорошо» – 0,75; «хорошо» – 0,625; «удовлетворительно» – 0,5; «посредственно» – 0,25; «неудовлетворительно» – 0.

Каждый из членов группы оценивает системы.

Затем определите коэффициенты компетентности экспертов k_i – числа в интервале [0, 1]. Причем сумма коэффициентов должна быть равна 1: . Сформируйте обобщенные оценки систем по формуле .

Результаты оформляются в виде таблицы (таблица 5.4).

Таблица 5.4 – Результаты непосредственной оценки объектов

5. Последовательное сравнение методом Черчмена-Акоффа.

Расположите объекты в порядке предпочтения и произведите непосредственную оценку объектов числами на отрезке [0,1], например:

x ₁ x ₂ x ₃ x ₄

1.0 0.8 0.5 0.2

Решите, будет ли первый объект превосходить по предпочтительности все остальные объекты вместе взятые. Если да, то увеличьте оценку первого объекта так, чтобы она стала больше суммы оценок остальных объектов, например:

x ₁ (x ₂ + x ₃ + x ₄ )

1.6 > (0.8 + 0.5 + 0.2)

В противном случае он измените оценку первого объекта так, чтобы она стала меньше, чем сумма оценок остальных объектов.

Решите, будет ли второй объект предпочтительнее, чем все последующие вместе взятые объекты, и скорректируйте оценку второго объекта таким же образом, как для первого. Например:

x ₁ x ₂ (x ₃ + x ₄)

1.6 0.6 < (0.5 + 0.2)

Продолжите операцию сравнения предпочтительности последующих объектов и изменения числовых оценок этих объектов пока не переберете все объекты.

Нормируйте результаты последовательного сравнения: определите сумму оценок и поделите каждую оценку на эту сумму, например:

x ₁ x ₂ x ₃ x ₄

1.6 + 0.6 + 0.5 + 0.2 = 2.9

0.56 0.2 0.17 0.07

6. Составление отчета.

В отчет должны войти:

· цель сравнения и объекты (системы) для сравнения;

· индивидуальные и обобщенная ранжировки систем (таблица 5.1);

· коэффициент конкордации, качественная оценка согласованности мнений экспертов;

· результаты парных сравнений (индивидуальные и обобщенная матрицы, ранги);

· шкала для непосредственной оценки, результаты непосредственной оценки (таблица 5.4);

· результаты последовательного сравнения на каждом шаге.