Основы оценки сложных систем

Разработка и эксплуатация сложных систем выявили необхо-димость комплексной оценки различных по своей природе факторов, разнородных связей, внешних условий и т.д. В связи с необходимостью оценки в системной анализе существует раздел «теория эффективности», связанный с определением ка-чества систем. Предметом изучения теории эффективности явля-ются вопросы количественной оценки качества характеристик и эффективности функционирования сложных систем.

Оценка сложных систем выполняется с разными целями:

– оптимизация (например, выбор наилучшего алгоритма ре-ализации закона функционирования);

– идентификация (определение системы, которая по своим качествам наиболее полно соответствует заданным условиям);

– принятие решения по управлению системой.

Этот перечень самый общий и его можно продолжить. Под оценкой понимается результат, полученный в ходе процесса оценивания. Предполагается, что истинная оценка может быть получена только при правильно организованном про-цессе оценивания. Этим определяется место теории эффек-тивности в системном анализе.

Этот перечень самый общий и его можно продолжить. Под оценкой понимается результат, полученный в ходе процесса оценивания. Предполагается, что истинная оценка может быть получена только при правильно организованном процессе оце-нивания. Этим определяется место теории эффективности в сис-темном анализе. КОНЦОВКА ПРЕДЫДУЩЕЙ ЛЕКЦИИ

Важные свойства систем можно классифицировать не толь-ко по уровню сложности, но и исходя из принадлежности к груп-пам: системообразующим (общесистемным), структурным и фун-кциональным. Например:

– общесистемные свойства: целостность, устойчивость, наблюдаемость, управляемость, открытость и др.;

– структурные свойства: состав, связность, организация, сложность, централизованность и др.;

– функциональные свойства: результативность, ресурсо-ёмкость, оперативность, мобильность, быстродействие и др.

Если придерживаться такой классификации, показатели ка-чества можно отнести к общесистемным и структурным свойст-вам систем. А свойства, характеризующие процесс функциониро-вания системы, можно причислить к операционным свойствам или свойствам операции. Делают это, потому что цель искусст-венных систем – выполнение конкретных операций.

Операционные свойства можно рассматривать с двух точек зрения:

– исхода или результатов операции;

– алгоритма, обеспечивающего результат.

Качество исхода операции вместе с алгоритмом, обеспечива-ющим результат, оценивают по показателям качества операции, т.е. – результативность, ресурсоёмкость и оперативность.

Результативность (Э) операции определяется получаемым целевым эффектом, для получения которого функционирует система.

Ресурсоёмкость R определяется ресурсами всех видов (людскими, энергетическими, материально-техническими, ин-формационными и др.), задействованными для получения це-левого эффекта.

Оперативность (О) определяется временем, необходи-мым для достижения цели операции.

Оценка исхода операции предполагает, что операция выполняется для достижения определённой цели – исхода операции. Исход операции – это ситуация (состояние сис-темы и внешней среды), которая возникает на момент за-вершения операции. Количественная оценка исхода опера-ции характеризуется таким понятием, как показатель исхода операции (ПИО). Он представляет собой вектор

Y_ИСХ = < Y_Э, Y_R, Y_О >,

компоненты которого отражают его отдельные свойства, а имен-но результативность, ресурсоёмкость и оперативность операции.

Оценка алгоритма функционирования является основной при оценке эффективности. Это следует из постулата (от латин-ского postulo – требую, это суждение, принимаемое без дока-зательств), подтверждаемое практикой: «Наличие хорошего ал-горитма функционирования системы повышает уверенность в по-лучении требуемых результатов». Конечно, требуемые результа-ты могут быть получены и без хорошего алгоритма, но вероят-ность такого событие невелика.

Совокупность результативности, ресурсоёмкости и опера-тивности даёт комплексное свойство – эффективность процес-са Y_ЭФ. Это степень приспособленности процесса к достиже-нию цели, оно присуще операциям, проявляется при функциониро-вании системы и зависит от свойств и системы и внешней среды.

Выбор критерия эффективности является самым от-ветственным моментом исследования системы. В систем-ном анализе принято считать, что предпочтительнее най-ти неоптимальное решение по правильно выбранному критерию, чем оптимальное решение по неправильно вы-бранному критерию.

Процесс выбора критерия эффективности, как и процесс определения цели, является в значительной степени субъек-тивным, творческим процессом. Он не является раз и навсегда определённым и индивидуален в каждом отдельном случае.

Математически критерий эффективности называют целе-вой функцией, так как её экстремумы отображают цели опе-рации. Поэтому для формирования критерия эффективности прежде всего надо определить поставленную цель.

Далее нужно найти множество управляемых и неуправляе-мых характеристик системы, участвующих в реализации опера-ции. Затем определить показатели исхода операции. Только после этого можно выбрать и сформировать критерии эф-фективности. Показатели исходов операции (или функции исходов операции), на базе которых формируют критерии эффективности, называют показателями эффективности. В некоторых случаях показатели исходов операций могут прямо выступать в качестве критериев эффективности.

Несмотря на многообразие конкретных операций, реализуе-мых системами, существует ряд общих положений, которыми руководствуются при формировании критериев эффективности.

Операции в зависимости от типов систем и внешних воздей-ствий бывают детерминированными, вероятностными и неопре-делёнными. Исходя из этого выделяют три группы критериев эффективности функционирования систем:

– в условиях определённости, если ПИО отражает один строго определённый исход детерминированной опе-рации;

– в условиях риска, когда ПИО дискретные или непре-рывные случайные величины с известными законами рас-пределения в вероятностной операции;

– в условиях неопределённости, когда ПИО случайные величины с неизвестными законами распределения.

Основная проблема оценки эффективности вероят-ностных операций определяется неясностью способа оп-ределения требуемых вероятностей. Трудность заключа-ется в том, что методы классической теории вероятности применимы при повторяемости опытов в одинаковых ус-ловиях. А это требование не всегда выполнимо.

Наиболее трудно оценить эффективность системы в усло-виях неопределённости, то есть, когда ПИО являются слу-чайными величинами с неизвестными законами распреде-ления.

Выбор показателей требует анализа большого объёма пло-хо структурированной информации. Поэтому выработаны тре-бования, выполнение которых обосновывает применение по-казателей в данном случае. Требования к ПИО:

‒ соответствие цели операции;

‒ полнота;

‒ измеримость;

‒ ясность физического смысла;

‒ неизбыточность;

‒ чувствительность.

Основным является требование по соответствию ПИО цели операции, реализуемой системой.

Цели операции очень сильно зависят от назначения систе-мы (для чего она предназначена) и определяются ими. К при-меру, для автоматизированной системы обработки данных це-лями операции могут быть выбраны требуемая оператив-ность, достоверность, устойчивость, безопасность решения за-дачи и передачи сообщений. Каждой цели должны быть опре-делены и сопоставлены одна или несколько составляющих ПИО.

Другим важным требованием к ПИО является его полнота. Это требование отражает желательные (целевые) и нежела-тельные (побочные) последствия операции по показателям результативности, ресурсоёмкости и оперативности.

Ещё одно важное требование к ПИО – измеримость его составляющих. Осуществить это можно с помощью натурного эксперимента или с помощью моделей операции.

В случае, когда интересующая операция не позволяет про-вести измерение, следует разложить её на подоперации. Этот процесс может быть многоуровневым. Например, опера-ция «Решение задач управления» можно разбить на «Реше-ние задач планирования» и «Решение задач оперативного уп-равления». Последние подоперации разбиваются на «Реше-ние задач учёта» и «Решение задач контроля» и т.д.

Определяя задачи ПИО, желательно ясно понимать их фи-зический смысл. Или другими словами они должны измерять-ся количественными мерами, доступными для восприятия. Так как это не всегда получается, приходится использовать субъ-ективные составляющие ПИО. К примеру, такое свойство сот-рудников, как обученность, не может быть определено показа-телями, имеющими физический смысл. И поэтому используют искусственную шкалу.

Очень важно стремиться к минимизации размерности ПИО. Или другими словами обеспечивать неизбыточность набора составляющих. Почему это важно? Потому что рост числа составляющих (увеличение избыточности) сильно повы-шает трудоёмкость построения функции эффективности.

К основным требованиям, предъявляемым к составляю-щим ПИО, относят и достаточно высокую чувствительность к изменениям значений управляемых характеристик.

В качестве вывода можно отметить, что множество сос-тавляющих ПИО определяется различными способами. Это происходит из-за отсутствия формальной теории, которая обеспечивала бы решение этой задачи.

В случае, когда два лица, определяются по поводу одной и той же операции, они могут предложить различный состав ПИО. А для следования основным идеям системного анализа важно лишь то, что используя различные ПИО, наши ЛПР вы-бирают одинаковые решения – оптимальные.

• МНОГОКРИТЕРИАЛЬНЫЕ РЕШЕНИЯ

Рассмотрев выше, как получают оценки (или показатели) систем, мы приступаем к изучению того, как оценками пользо-ваться в рамках задач СА.

Здесь нам не обойтись без такой сложившейся научной дисциплины, как ИССЛЕДОВАНИЕ ОПЕРАЦИЙ. Исследова-ние операций – это применение математических, коли-чественных методов, обосновывающих решения во всех областях целенаправленной человеческой деятельности.

Решить любую задачу в исследовании операций можно используя следующие этапы:

– построение модели;

– выбор критерия оптимальности (после изучения мо-дели определяем, какие свойства системы важнейшие);

– нахождение оптимального решения (определив важ-нейшие свойства-критерии системы, находим оптимум).

Более подробно первый этап решения задач вы будете рас-сматривать в курсе «Моделирование систем». Особенности второго этапа рассматриваются частично в нашем курсе «Сис-темного анализа», частично – в «Проектировании АСОиУ». И наконец, третий этап находит своё отражение в курсах «Теория принятие решений» и «Методы оптимизации». Вот такая полу-чается междисциплинарная связь при подготовке специа-листов на нашей кафедре.

Что означают многокритериальные решения? При широком применении методов исследования операций аналитики стали сталкиваться с задачами, где имеется не один, а несколько критериев оценки качества решения.

Для иллюстрации приведём классическую задачу исследо-вания операций – так называемую обобщённую транспорт-ную задачу.

Пусть имеется авиакомпания, перевозящая пассажиров по различным маршрутам. Руководство компании определяет, какие самолёты (по вместительности) и сколько самолё-тов должны обслуживать различные маршруты. Считает-ся, что известны потоки пассажиров между разными города-ми и общее число имеющихся самолётов различного типа. Требуется распределить самолёты по маршрутам так, что-бы минимизировать расходы на их обслуживание.

В такой постановке критерий один. Если к данному крите-рию добавить вполне естественные – максимум прибыли и максимум комфортабельности для пассажиров, то крите-риев становится три и их нужно каким-то образом согласовы-вать. Ответ условиями задачи не определён, и при поиске ответа необходима допинформация от руководства авиаком-пании.

Эта и многие ей подобные задачи имеют следующую ха-рактерную особенность:

модель, описывающая множество допустимых решений, объективна, но качество решения оценивается по многим критериям. Для выбора наилучшего варианта решения необ-ходим компромисс между оценками по различным критериям. В условиях задачи отсутствует информация, позволяю-щая найти такой компромисс. Следовательно, он не может быть определён на основе объективных расчётов.

При появлении многих критериев задачи выбора наи-лучшего решения приобретают следующие особенности:

— задача имеет уникальный, новый характер — нет статис-тических данных, позволяющих обосновать соотношения меж-ду различными критериями;

— на момент принятия решения принципиально отсутству-ет информация, позволяющая объективно оценить последст-вия выбора того или иного варианта решения.