Система верификации софтверного инструментария

Одно из важнейших требований, предъявляемых к управленческим решениям, связанных с управлением комплексными организационно-экономическими и техническими объектами – точность, вытекающая из их высокой ответственности.

В свою очередь, эта точность сильно связана с затратами на подготовку решений.

Потери от ошибочных или недостаточно точных управленческих решений могут быть значительными, а порой и разорительными. Затраты на подготовку управленческих решений достаточно чувствительны к их точности.

Несмотря на ряд принципиальных отличий, присущих двум разновидностям формально-логических описаний (моделям и алгоритмам, аналитическим и имитационным моделям), они имеют факторно-откликовую природу, или, иными словами, устанавливают механизм связи экзогенных и эндогенных переменных, характер изменений выхода при варьировании входа.

Наиболее важное требование, предъявляемое к моделям, - приближенность к действительному объекту в следующих аспектах:

- с точки зрения корректности отслеживания связи «вход–выход», т.е. совпадения выходных характеристик объекта и модели при идентичных входных воздействиях. Близость в указанном смысле принято называть адекватностью;

- в отношении корректности декомпозиции модельного описания с точки зрения целей управления. Этот аспект определяет схему разбиения описания объекта на локальные модели типа «черного ящика», которые затем уже не декомпозируются, оставаясь элементами. Все элементы иерархического дерева моделей должны быть, естественно, адекватны соответствующим объектам-прототипам. Совпадение в указанных выше смыслах будем называть аутентичностью.

Если проблемы, связанные со вторым аспектом, решаются в основном сейчас на эвристическом уровне, то адекватность допускает совершенно строгий анализ.

Вопросы оценки адекватности традиционно считаются и являются актуальными, сложными и довольно далекими от разрешения.

Выделяются два способа оценки адекватности математических моделей и алгоритмов.

Первый – разовая процедура, представляющая собой оценку адекватности как сравнение близости временных рядов показателей состояния, наблюдаемых на реальном объекте и получаемых в ходе вычислительного эксперимента. Разовая процедура традиционно реализуется для нескольких вариантов исходных данных.

На рис. 2.7 приведена структурная схема оценки адекватности, где пунктиром обозначен фрагмент, адекватность которого (а не только модели или алгоритма) подлежит проверке.

Корректность вывода об адекватности или неадекватности зависит от того, насколько будут нейтрализованы или компенсированы погрешности оценки показателей состояния, исходных данных и оценки значимости рассогласований.

Первые три вида характеристик погрешностей влияют на выводы об адекватности в наибольшей степени, при этом проблема дополнительно усложняется тем, что характеристики перечисленных погрешностей неопределенны. При оценке адекватности стремятся проверить важность остальных видов погрешностей и упрощений.

В принципе возможна вариация предложенной процедуры, которая применяется хотя и реже, чем указанная, но тоже достаточно распространена при проведении научных исследований. Речь идет о важном классе проверочных экспериментов, в которых реальный объект заменяется сертифицированной, эталонной моделью. Как правило, такая «пробирная» модель является гораздо более подробной, чем проверяемая на адекватность, и применимой для более широкого множества допустимых вариантов. Преимущества рассматриваемого метода достаточно очевидны: уменьшение затрат, в том числе временных, на оценку адекватности за счет отказа от обследования реального объекта, более представительные испытания для несравненно более широкого спектра ситуаций. Недостатки также просматриваются довольно явственно: внесение дополнительных погрешностей, присущих «идеальной» модели, необходимость полномасштабного овладения теоретической основой такой модели и практическими навыками работы с ее программной реализацией.

Заметим, что процедуры анализа адекватности не зависят от характера модели или алгоритма, т.е. выходы моделей сопоставляются с откликами реального или замещаемого указанным способом объекта, они в этом смысле изоморфны.

Сформулируем строго задачу выявления адекватности модели произвольного вида реальному объекту – прототипу в вероятностном смысле ввиду стохастического в общем случае характера и модели, и объекта.

Рассматриваемая задача сводится к проверке статистической гипотезы о том, что выходы модели и реального объекта совпадают в статистическом смысле, т.е. получающееся различие между ними незначимо при одном и том же входном воздействии, для которого осуществлялась идентификация модели.

Будем искать способ проверки статистической гипотезы о том, что выходы модели и реального объекта совпадают в статистическом смысле, т.е. получающееся различие между ними незначимо при одном и том же входном воздействии, для которого осуществлялась идентификация модели. Как показано на рис. 2.8, подходя к проблеме абстрактно, следовало бы сопоставить Y^М и Y^O (т.е. замыкание на компаратор точек М₂ и О₂), практически же можно сравнивать лишь Y^HМ и Y^HO, причем на вход реального объекта подается X^H, а модели – X^B, идентификация на модели производится по множеству X^H, Y^HO. Указанное обстоятельство приводит к определенной дополнительной погрешности, которая отдельно практически ненаблюдаема и неисключаема.

Будем считать, что исследования проводятся на интервале tÎ [ T_beg,T_end ]. Так как процесс управления носит дискретный характер, то за этот интервал времени можно сопоставить лишь следующие выборки выходных процессов:

® ®

Y^HM_выб = {Y^HM₁,...,Y^HM_n } и Y^HO_выб = {Y^HO₁ ,...,Y^HO_m.}.

В общем случае n ¹ m.

Проверяем выполнение гипотезы:

® D ®

H₀ : Y^HM._выб ¹ Y^HО._выб

против конкурирующей альтернативы:

® D ®

H₁: Y^HM._выб = Y^HО._выб,

где:

D

символ = означает равенство по определению, в данном случае – в статистическом смысле;

D

символ ¹ означает неравенство по определению.

При проверке статистических гипотез можно допустить ошибки первого и второго рода. Применительно к нашей задаче они трактуются следующим образом:

- ошибка первого рода – делается вывод о неадекватности модели, в то время как на самом деле она адекватна, вероятность этого события определяет уровень значимости a;

- ошибка второго рода – модель на самом деле неадекватна, принимается же обратное положение, вероятность этого события – b, задающая мощность критерия, которая соответствует уровню 1-b.

Общеизвестно, что при фиксированном объеме выборок одновременного уменьшения a и b добиться невозможно, поэтому целесообразно выбирать процедуру, обеспечивающую в первую очередь минимизацию b, так как потери от ошибки второго рода, как уже указывалось, значительно больше, нежели чем от ошибок первого рода. Действительно, использование некорректной, неадекватной модели влечет за собой значительно большие издержки, чем дополнительный анализ и уточнение модели даже в том случае, если уже построенная модель на самом деле дает качественное описание. В данном случае целесообразно решать задачу минимизации среднего риска в традиционной интерпретации.

Сформулируем требования, которым должна отвечать процедура оценки адекватности:

- необходим учет стохастического характера наблюдаемых выходных процессов объекта и его модели;

- детерминированная составляющая выходного процесса в общем случае может изменяться во времени, то есть соответствующие процессы в общем случае являются нестационарными;

- в целях достижения гибкости анализа заключение вида «модель адекватна» или «модель неадекватна» следует предварять конкретной численной мерой правильного и ошибочного решений (например, a) и лишь затем сравнивать значения a с a_зад, принимая или отвергая гипотезу для фиксированного уровня значимости a_зад. Эта посылка при всей своей правильности приводит к определенному усложнению алгоритмов, так как дополнительно возникает задача численного оценивания функций распределения;

- исходя из соображений экономичности исследования, следует ориентироваться на возможно более компактные выборки выходных данных модельного и реального процесса, причем число модельных выборок также надо по возможности уменьшить, ориентируясь на эргодизированные критерии. Соображения минимизации a и b требуют обратного, т.е. следует искать компромисс, например, идя по пути итеративного «припасовывания» новых элементов выборок;

- следует по возможности абстрагироваться от вида функции достоверности.

В целом наиболее целесообразным является выбор в пользу комплекса процедур, которые позволяют для всего спектра возможных ситуаций решать поставленную задачу, а также проверять адекватность на основе нескольких процедур. Иными словами и здесь продуктивна (а, возможно, и единственно применима) концепция системы алгоритмов оценки адекватности моделей.

Наиболее широко для оценки адекватности ныне применяются следующие методы:

- экспертный метод;

- метод качественной оценки адекватности;

- комплекс методов оценки статистического несоответствия;

- критерий c² - Пирсона;

- критерий Колмогорова-Смирнова;

- метод на базе t -статистик Бонферрони.

Вычислительные эксперименты по оценке адекватности математических моделей и алгоритмов подразумевают их планирование, ориентирующееся на обеспечение наиболее точной или приемлемой оценки уровня адекватности при условии минимизации затрат на исследование этой адекватности или невыхода уровня таких затрат за установленное заранее значение.

Планирование экспериментов анализируемого типа подразумевает:

- выявление перечня выходных показателей состояния, по которым предполагается проводить сравнение;

- определение конкретного варианта объекта, для которого будет выполняться исследование;

- наличие интервала времени, для которого будет выполняться сравнение, а также шага дискретности. Не исключен вариант, когда может фиксироваться множество конкретных точек;

- определение источников исходных данных и порядка их первичной обработки;

- установление перечня особых ситуаций, наличие или отсутствие которых следует проверить;

- принятие алгоритмов проверки адекватности;

- регламентацию технических параметров вычислительных экспериментов (например, количества повторных реализаций имитационного эксперимента и т.д.).

Таким образом, эксперимент по оценке адекватности математической модели или алгоритма допускает интерпретацию как планирование эксперимента с векторным откликом и смешанным характером факторов (часть из них – количественные, а часть – качественные). Поэтому правомерно применение традиционных методов планирования экспериментов, дополненных неформальной корректировкой.

В заключение обсуждения проблемы оценки адекватности отметим, что в отношении моделей и алгоритмов действует так называемый принцип презумпции адекватности – т.е. модель или алгоритм причисляются к категории адекватных до тех пор, пока не доказано иное.

Оценка адекватности и/или аутентичности нередко именуется верификацией. Иногда различают понятия адекватности и аутентичности – в этом случае аутентичность предусматривает оценивание сходства через призму соответствия механизма функционирования и развития объекта моделирования реальному, в том числе структурный изоморфизм, а адекватность подразумевает формальную близость показателей состояния при идентичных в некотором смысле внешних воздействиях, рассматриваемая объект моделирования как «черный ящик». В принципе при таком разграничении возможен формальный парадокс – неаутентичная модель может быть при некоторых условиях адекватна, что достаточно часто наблюдается и на практике и в теории. Однако в более корректном представлении верификация предусматривает еще и проверку работоспособности софтверного продукта (т.к. оценка адекватности «незапускающегося» программного продукта – типичный пример некорректной оценочной или оптимизационной управленческой задачи проектного типа).

Вывод об адекватности или неадекватности параметрируется степенью строгости оценивания.

Date: 2015-05-23; view: 606; Нарушение авторских прав