Критерии оценки систем

14.1. Оценка уровней качества систем с управлением

При оценивании качества систем с управлением целесообразно ввести несколько уровней качества, проранжированных в порядке возрастания сложности рассматриваемых свойств.

Эмпирические уровни качества получили названия: общая устойчивость, помехоустойчивость, управляемость, свойства, самоорганизация.

Рис. 14.1

Система, обладающая качеством данного порядка, имеет и все другие простые качества, но не имеет качеств более высокого порядка.

1) Первичные качеством любой системы является ее устойчивость. Для простых систем устойчивость объединяет такие свойства как прочность, стойкость к внешним воздействиям, сбалансированность, стабильность, гомеостазис. Для сложных систем характерны различные формы структурной устойчивости, такие как надежность, живучесть и т.д.

2) Более сложным качеством, чем устойчивость, является помехоустойчивость – способность системы без искажений воспринимать и передавать информационные потоки. Помехоустойчивость объединяет ряд свойств, присущих в основном системам управления. К таким свойствам относятся: надежность информационных систем и систем связи, их пропускная способность, возможность эффективного кодирования (декодирования) информации, электромагнитная совместимость и т.п.

3) Следующим по сложности качеством является управляемость – способность системы переходить за конечное (заданное) время в требуемое состояние под влиянием управляющих воздействий. Управляемость обеспечивается, прежде всего, наличием прямой и обратной связей, объединяет такие свойства системы, как гибкость управления, оперативность, точность, быстродействие, инерционность, связность, наблюдаемость объекта управления и др. Для сложных систем управляемость включает в себя способность принятия решений по формированию управляющих воздействий.

4) Следующим уровнем по шкале качеств являются свойства – это качество системы, определяющее ее возможности по достижению требуемого результата на основе имеющихся ресурсов за определенное время. Данное качество определяется такими свойствами, как результативность (производительность, мощность и т.п.), ресурсоемкость, эффективность – способность получить требуемый результат при идеальном способе использования ресурсов и в отсутствии воздействий внешней среды.

5) Наиболее сложным качеством системы является самоорганизация – способность системы для повышения эффективности изменять свою структуру, параметры, алгоритмы функционирования, поведения. Принципиально важными свойствами этого являются свобода выбора решений, адаптивность, самообучаемость, способность к распознаванию ситуаций и др.

Введение уровней качества позволяет ограничить исследование одним из перечисленных уровней. Для простых систем часто это исследование устойчивости.

Уровень качества выбирает исследователь в зависимости от сложности системы, целей анализа, наличие информации, условий работы системы.

14.2. Показатели и критерии оценки эффективности систем

Наиболее важные и принципиальные свойства системы можно классифицировать не только по уровню сложности, но и по тому, как они характеризуют процесс функционирования (поведение) системы.

В общем случае функциональные свойства системы оцениваются в двух аспектах:

– исход (результат) функционирования;

– «алгоритм», обеспечивающий получение результатов.

Качество исхода и «алгоритм», обеспечивающие получение результатов, оцениваются по показателям качества, которые вводятся с учетом конкретных особенностей системы и условий ее функционирования.

К основным укрупненным показателям качества функционирования систем относят: результативность, ресурсоемкость и оперативность.

Результативность характеризуется получаемым в результате целевым эффектом – результатом, ради которого функционирует система.

Ресурсоемкость отражает ресурсы всех видов (людские, материально – технические, энергетические, информационные, финансовые и.т.п.), используемые для получения целевого эффекта.

Оперативность есть измеритель расхода времени, потребного для достижения цели.

Оценка исхода функционирования системы (операции) учитывает, что операция проводится для достижения определенной цели – исхода операции. Под исходом операции понимается ситуация (состояние системы и внешней среды), возникающая на момент ее завершения. Для количественной оценки исхода операции вводится понятие показателя исхода ее (ПИО) в виде вектора:

, (14.1)

компоненты которого есть показатели его отдельных свойств, отражающие результативность, ресурсоемкость и оперативность операции.

Оценка «алгоритма» функционирования является ведущей при оценке эффективности системы, т.к. нужные результаты могут быть получены только при условии хорошего «алгоритма».

В совокупности результативность, ресурсоемкость и оперативность порождают комплексное свойство: эффективность процесса – степень его приспособленности к достижению цели.

Выбор критерия эффективности – центральный, самый ответственный момент исследования системы.

Конкретный физический смысл показателей эффективности определяется характером и целями операций, а также качеством реализующей ее системы и внешними воздействиями.

Процесс выбора критерия эффективности, как и процесс определения цели, является в значительной мере субъективным, творческим, требующий в каждом отдельном случае индивидуального подхода.

Конкретный физический смысл показателей эффективности определяется характером и целями операции, а также качеством реализующей ее системы и внешними воздействиями.

В зависимости от типа систем и внешних воздействий операции могут быть детерминированными, вероятностными или неопределенными. В соответствии с этим выделяют три группы показателей и критериев эффективности:

А) показатели и критерии эффективности функционирования систем в известных условиях, если ПИО отражают один строго определенный исход детерминированной операции;

Б) показатели и критерии эффективности функционирования систем в условиях риска, ели ПИО являются дискретными или непрерывными случайными величинами с известными законами распределения;

В) показатели и критерии эффективности функционирования систем в условиях неопределенности, ее ли ПИО являются случайными величинами, законы, распределения которых неизвестны.

Критерий пригодности для оценки эффективности детерминированной операции имеет вид:

(14.2)

Им определяется правило, по которому операция считается эффективной, если все частные показатели исхода операции принадлежат области адекватности.

Критерий оптимальности для оценки эффективности детерминированной операции имеет вид:

(14.3)

Он определяет правило, по которому операция считается эффективной, если частные показатели ее исхода принадлежат области адекватности, а радиус этой области по указанным показателям оптимален.

Критерии пригодности для оценки эффективности вероятностной операции имеет вид:

(14.4)

и определяет правило, по которому операция считается эффективной, если вероятность достижения цели по показателям эффективности не меньше требуемой вероятности достижения цели по этим показателям .

Критерии оптимальности для оценки эффективности вероятностной операции имеет вид:

(14.5)

и определяет правило, по которому операция считается эффективной, если вероятность достижения цели по показателям эффективности больше или равна вероятности достижения цели с оптимальными значениями этих показателей .

Наибольшие трудности возникают при оценке эффективности систем в условиях неопределенности. Подходы для решения этой задачи составляют один из разделов теории принятия решений.

14.3. Методы качественного оценивания систем.

Методы оценивания систем разделяются на качественные и количественные.

Качественные методы используются на начальных этапах моделирования, если реальная система не может быть выражена в количественных характеристиках, отсутствует описание закономерностей систем в виде аналитических зависимостей.

Количественные методы используются на последующих этапах моделирования для количественного анализа вариантов системы.

Между этими крайними методами имеются и такие, с помощью которых стремятся охватить все этапы моделирования от постановки задачи до оценки вариантов. К ним относят:

– кибернетический подход к разработке адаптивных систем управления, проектирования и принятия решений;

– информационно–гносеологический подход к моделированию систем (основанный на общности процессов отражения, познания в системах различной физической природы);

– структурный и объективно–ориентированный подходы системного анализа;

– метод ситуационного моделирования;

– метод имитационного динамического моделирования.

Такие методы позволяют разрабатывать как концептуальные, так и строго формализованные модели, обеспечивающие требуемое качество оценки систем.

Простейшей формой задачи оценивания является обычная задача измерения, когда оценивание есть сравнение с эталоном, а решение задачи находится подсчетом числа эталонных единиц в измеряемом объекте.

Пример: – отрезок, – его длина.

Более сложные задачи оценивания разделяются на задачи парного сравнения, ранжирования, классификации, численной оценки.

Задача парного сравнения заключается в выявлении лучшего из 2х имеющихся объектов.

Задача ранжирования – в упорядочении объектов, образующих систему по убыванию (возрастанию) значения некоторого признака.

Задача классификации – в отношении заданного элемента к одному из множеств.

Задача численной оценки – в сопоставлении системе одного или нескольких чисел.

Перечисленные задачи могут быть решены непосредственно лицом, принимающим решение, или с помощью экспертов – специалистов в исследуемой области. В этом случае решение задачи оценивания называется экспертизой.

Качественные методы измерения и оценивания характеристик систем, используемые в системном анализе, достаточно многочисленны и разнообразны.

К основным относят:

1. методы «мозговой атаки» или коллективной генерации идей;

2. метод «сценариев»;

3. метод экспертных оценок;

4. метод «Дельфи»;

5. метод «дерева целей»;

6. морфологические методы.

1); 3) и 4) мы рассматривали в п.п.9 и 10.3.

Метод сценариев представляет собой процедуру подготовки и согласования представлений о проблеме или анализируемом объекте, изложенном в письменном виде.

Остановимся более подробно на характеристике последних 2х методов.

Термин «дерево целей» подразумевает использование иерархической структуры, полученной путем разделения общей цели на подцели, а их в свою очередь, на более детальные составляющие (новые подцели, функции и т.д.).

Разновидностью методов «дерева целей» и «Дельфи» является метод PATTERN (Planning Assistause Threng Technical Evalution of Relevance Number – помощь планированию посредством относительных показателей технической оценки), который по своей сути является комбинацией «дерева целей» и экспертных оценок.

Основная идея морфологических методов – систематически находить все мыслимые варианты решения проблемы или реализация системы путем комбинирования выделенных элементов или их признаков.

Наиболее широкое применение получил подход называемый «методом морфологического ящика» (ММЯ).

Построение и исследование по ММЯ состоит из следующих этапов:

1) Точная формулировка поставленной проблемы.

2) Выделение показателей от которых зависит решение проблемы.

3) Сопоставление показателю его значений и сведение этих значений в таблицу («морфологический ящик»).

Оценка всех имеющихся в морфологической таблице (ящике) вариантов.

4) Выбор из морфологической таблицы наиболее желаемого варианта решения проблемы.

Для организационных систем такой ящик, как правило, многомерный, поэтому для использования этого метода разрабатывают языки моделирования или проектирования (системно – структурные языки).

14.4. Методы количественного оценивания систем. Общие положения

Первоначально задача количественного оценивания систем формировалась в терминах критерия превосходства в форме:

Однако поскольку большинство частных показателей качества связаны между собой так, что повышение качества системы по одному показателю ведет к понижению качества по другому, такая постановка была признана некорректной для большинства приложений.

Пример: – пропускная способность, – достоверность.

Для решения проблемы корректности критериев превосходства были разработаны методы количественной оценки систем:

– методы теории полезности;

– методы векторной оптимизации;

– методы ситуационного управления, инженерии знаний.

Методы теории полезности основаны на аксиоматическом использовании отношения предпочтения множества векторных оценок систем.

Методы векторной оптимизации базируются на использовании понятия векторного критерия качества систем (многокритериальные задачи).

Методы ситуационного управления основаны на построении таких моделей систем, в которых предпочтение формализуется в виде набора логических правил, по которым может быть осуществлен выбор альтернатив.

Рассмотрение указанных подходов в системном анализе основано на трех важных особенностях.

Во–первых, считается, что не существует оптимальной системы для всех целей и воздействий внешней среды. Система может быть эффективной только для конкретной цели и в конкретных условиях.

Во–вторых, считается, что не существует системы, наилучшей в независящем от ЛПР смысле, т.е. система может быть наилучшей лишь для данного ЛПР.

В–третьих, методы исследования операций (линейное, нелинейное, динамическое программирование и др.) не удовлетворяют требованиям, предъявляемым к задачам оценивания сложных организационных систем, поскольку вид целевой функции или неизвестен, или не задан аналитически, или для нее отсутствуют средства решения.

Общность подходов состоит в том, что оценивание систем по критериям производится с помощью шкал.

Под К–мерной шкалой понимается соответствие эмпирической системы числовой системе , где – множество всех действительных чисел. Образы элементов эмпирической системы называются шкальными значениями или оценками по критерию.

Определение полезности как меры оценки того или иного исхода операции представляет сложную задачу, точные методы решения которой пока не найдены.

14.5. Оценка сложных систем в условиях определенности

Оценивание систем в условиях определенности производится с использованием методов векторной оптимизации с помощью шкал.

Пусть – векторная оценка альтернативы ; – шкала (числовая система). Тогда общая задача векторной оптимизации может быть сформулирована следующим образом:

(14.6)

Оценивание сложных систем в условиях определенности на основе методов векторной оптимизации проводится в три этапа.

На первом этапе с использованием системного анализа определяются частные показатели и критерии эффективности.

На втором этапе находится множество Парето и формулируется задача многокритериальной оптимизации в форме (14.6).

На третьем этапе задача (14.6) решается путем скаляризации критериев устранения многокритериальности.

Множество Парето – это подмножество А* множества альтернатив А, которое задается свойством его элементов:

(14.7)

Принцип Парето определяется выражением (14.2) и состоит в следующем: множество Парето А* (множество компромиссов) включает альтернативы, которые всегда более предпочтительны по сравнению с любой альтернативой из множества А\А*. При этом любые две альтернативы из множества Парето по предпочтению несравнимы.

Принцип Парето используется в тех случаях, когда задача многокритериальна и состоит в сравнении альтернатив между собой по всем сформированным критериям и выделении подмножества наилучших альтернатив. Решающее правило в этом случае строится на основе аксиомы Парето:

«Если в задаче принятия решений частные критерии независимы по предпочтению и значение каждого из них желательно увеличивать, то из двух альтернатив, характеризуемых набором частных критериев, предпочтительнее та, для которой выполняются соотношения по всем , где первый индекс характеризует номер стратегии, второй индекс – номер частного критерия».

Таким образом, предпочтение одной альтернативы перед другой можно отдавать только если первая по всем критериям лучше второй.

В результате попарного сравнения альтернатив все худшие по всем критериям альтернативы отбрасываются, а все оставшиеся несравнимые между собой принимаются. Если все максимально достижимые значения частных критериев не относятся к одной и той же альтернативе, то принятые альтернативы образуют множество Парето и выбор на этом заканчивается.

Перейдем теперь к третьему этапу – устранению многокритериальности.

Наиболее употребительный способ – введение суперкритерия, т.е. скалярной функции векторного аргумента:

Вид функции определяется тем, как мы представляем себе вклад каждого критерия в суперкритерий (см. п. 6.2). Обычно для реализации данной процедуры используют аддитивные

или мультипликативные функции

Коэффициенты обеспечивают безразмерность критериального значения. Коэффициенты отражают относительный вклад частных критериев в суперкритерий.

Тогда задача сводится к максимизации суперкритерия:

Очевидные достоинства объединения нескольких критериев в один суперкритерий сопровождаются рядом трудностей и недостатков, которые необходимо учитывать при использовании этого метода.

Рассмотрим один важный частный случай в качестве примера.

Пусть для каждого из частных критериев известен «идеал», к которому нужно стремиться. Обозначим его . Тогда – мера близости к идеалу. Для сопоставимости показателей приведем их к безразмерному значению следующим образом:

Чтобы исключить влияние знаков возведем это выражение в квадрат. Тогда обобщенный критериальный показатель можно записать

С учетом весовых коэффициентов, отражающих вклад каждого частного критерия, получим

14.6. Оценка сложных систем на основе теории полезности