Методы оценки и измерения характеристик надежности программ

Внутренняя характеристика – число оставшихся ошибок – абсолютное или относительное. Считается, что в хорошо отлаженной программе - не более одной ошибки на 1 тысячу строк исходного кода. Для ответственных применений требуется то же на 10 тыс. строк и больше. Например, для СОИ этот показатель был задан как не более 2,5 ошибок на 10⁵ операторов языка Ада.

Как проверить соответствие ПП таким требованиям?

Метод Миллса (IBM, 1972) использует прием биологов - метод «меченых рыб». Группа тестирования засоряет программу искусственно ошибками и, продолжая тестирование, анализирует долю внесенных ошибок среди обнаруженных.

1) Пусть внесено s ошибок, обнаружено n собственных и v внесенных ошибок. Предполагая, что вероятность обнаружения внесенных и собственных ошибок одинакова, получим первоначальное количество оставшихся ошибок N = s _* n / v

2) Проверка гипотезы: осталось < k собственных ошибок. Вносится еще s ошибок и тестирование продолжается, пока все они не обнаружены. Пусть к этому моменту найдено n собственных. Тогда уровень значимости гипотезы (т.е., вероятность того, что она истинна), = 1 при n > k и s / (s + k +1) при n £ k.

В методе Руднера (1977) тестирование осуществляется двумя независимыми группами тестеров параллельно, которые обнаруживают m₁ и m₂ ошибок соответственно, из которых m_1,2 ошибок - общие. Используя гипергеометрическое распределение, по методу максимального правдоподобия может быть найдена оценка числа первоначально содержавшихся в программе ошибок N = m_{1 *} m₂ / m_1,2 .

Фирма Моторола использует в качестве меры надежности своих ПП (управляющих программ реального времени) среднее число ошибок на 1000 строк исходного кода. Она разработала метод оценки времени тестирования без отказов (zero-failure method), подтверждающего заданную надежность. Метод основан на некоторой, принятой фирмой Моторола, зависимости T = f (N, n, t), где:

T – время окончательного тестирования – испытаний без отказов

N – допустимое число ошибок в коде

n – общее число ошибок, обнаруженных в ходе тестирования

t – время, потраченное на выявление всех n ошибок

Если за время T ни одного отказа не произошло, считается, что в программе не более N ошибок и тестирование можно закончить. Если же отказ произошел через промежуток времени t_r < T, то испытание продолжается, причем функция T пересчитывается заново для n+1 и t+ t_r.

Как получена функция Т? – из одной из моделей надежности программ на основе оценок функции l (t) – внешней характеристики надежности. Эти оценки обычно экстраполируют динамику отладки, отраженную в базе данных отчетов об ошибках. Например, модель Джелинского – Моранды (1972), использовавшаяся в ряде ответственных проектов, в том числе Apollo NASA (пилотируемый полет на Луну). Она основана на следующих допущениях:

1. Интенсивность обнаружения ошибок R(t) пропорциональна текущему числу ошибок в программе, т.е. числу исходных ошибок минус обнаруженные.(Вопрос 9).

2. Все ошибки равновероятны и их проявление не зависит друг от друга.

3. Ошибки постоянно исправляются без внесения новых.

4. R(t) постоянна в промежутке между двумя смежными моментами обнаружения t _i и t _i+1.

Тогда R(t) – ступенчатая монотонно убывающая функция вида:

R(t)

t

t₀ t₁ t₂ t₃ t₄ t₅

5. Предполагается, что динамика проявления ошибок во время эксплуатации остается такой же, как при тестировании, т.е. постулируется тождество функций R(t) и l (t) с тем отличием, что значение l (t) "замораживается" в момент завершения тестирования - прекращается исправление ошибок.

Его решение: R(t) = KB e ^{- K t}. Обозначая a = ln (KB), b = - K, получаем запись решения в виде: R (t) = exp (a + bt). Логарифмируя обе части этого равенства и переходя к дискретному времени t_i,,получим систему из n уравнений:

ln R(t_i) = a + bt_i; i = 1,...,n

Решая эту систему относительно двух неизвестных a и b методом наименьших квадратов, можно найти оценки величин K и B в соответствии с критерием максимального правдоподобия. Этот метод был применен для ряда конкретных проектов IBM и показал хорошее соответствие реальности.