Классификация метрик качества

Для удобства применения общих приемов измерений метрики обычно классифицируют как:

· объективные/субъективные. Объективные метрики включают подсчеты элементов, которые могут быть независимо проверены (число строк кода, число ошибок, сложность и др.). Они снижают влияние личного мнения на вычисление и анализ метрик. Субъективные метрики основываются на индивидуальном или коллективном понимании или предпочтении определенных характеристик или условий (уровень сложности проблем, стоимостные коэффициенты и др.);

· примитивные/вычисляемые. Примитивные (базовые) метрики можно непосредственно наблюдать (размер программы в KSLOC, число дефектов, найденных при тестировании и др.). Вычисляемые метрики не могут непосредственно наблюдаться, но могут вычисляться по примитивным метрикам (число дефектов, приходящихся на SLOC, трудоемкость и др.);

· динамические/статические. Динамическим метрикам свойственен компонент времени. Значения изменяются с течением времени, начиная с момента сбора данных (например, число ошибок в месяц). Статические метрики инвариантны ко времени (число обнаруженных дефектов, общая трудоемкость работ и др.);

· предсказывающие/объясняющие. Значения предсказывающих (прогнозирующих метрик) могут быть получены заранее (например, оцениваемая интенсивность отказов). Значения объясняющих метрик появляются постфактум (реальная интенсивность отказов).

По отношению к виду объекта измерения (работающая программа или совокупность документов) меры и соответствующие метрики подразделяются на внешние, внутренние и метрики использования ПС.

Внешние метрики используют меры работающего на компьютере программного продукта, полученные в результате измерения его поведения в ходе тестирования и функционирования.

Внешние метрики разрабатываются с целью:

· демонстрации качества программного продукта, представленного характеристиками и подхарактеристиками качества, на стадии тестирования и эксплуатации;

· использования для подтверждения (валидации) того, что программный продукт удовлетворяет внешним требованиям к качеству;

· предсказания реального эксплуатационного качества;

· определения степени, в которой программный продукт будет удовлетворять установленным и предполагаемым требованиям пользователей в ходе реальной эксплуатации.

Можно сказать, что совокупность внешних метрик предназначена для оценивания внешнего качества - степени, в которой продукт удовлетворяет установленным (заявленным) и подразумеваемым потребностям при использовании в определенных условиях.

Разработка внешних метрик основывается на выполнении следующих измерений:

· поведения программного продукта при тестировании и функционировании в сочетании с другими программными продуктами, аппаратным обеспечением или системой обработки информации в целом;

· поведения пользователя (сценариев использования ПС).

Под измерением (оценкой) поведения понимается оценка масштабов возможных последствий неадекватного поведения, которые угрожают жизни или здоровью людей, природным ресурсам, могут привести к разрушению данных, несогласованности или недостоверности информации, потере безопасности, деградации сервиса (услуг), экономическим потерям и др.

Примерами внешних метрик для такой характеристики качества как надеж-

ность, могут быть среднее время между отказами, число устраненных дефектов при тестировании, интенсивность отказов и др.

Внутренние метрики обеспечивают возможность пользователям, разработчикам, тестировщикам и менеджерам оценивать качество промежуточных и конечных продуктов ПС непосредственно по их свойствам, без выполнения на компьютере.

Внутренние метрики разрабатываются таким образом, чтобы они могли:

· представлять (отражать) качество не выполняющихся на компьютере

промежуточных и конечных программных продуктов по тем характеристикам и подхарактеристикам качества, которые определены в модели качества ПС;

· служить руководством к действию при планировании и улучшении процессов, которые воздействуют на промежуточные и конечные продукты;

· использоваться при верификации того, что промежуточные и конечные продукты удовлетворяют требованиям к внутреннему качеству ПС, предусмотренным планами совершенствования процессов;

· предсказывать внешние метрики качества.

Можно сказать, что совокупность внутренних метрик предназначена для оценивания внутреннего качества - множества атрибутов продукта, которое определяет его способность удовлетворять установленным или реальным потребностям при использовании в определенных условиях.

Разработка внутренних метрик основывается на выполнении измерений статических атрибутов, которые определены и могут быть оценены по тексту исходного кода, графическому или табличному представлению потоков управления и данных, структур перехода состояний или по документам ПС.

Примерами внутренних метрик для надежности могут быть число ошибок,

найденных при инспекции кода, число устраненных дефектов в результате инспекции кода, прогнозируемое число оставшихся ошибок и др.

Метрики качества в использовании (метрики эксплуатационного качества) измеряют степень, в которой программный продукт, установленный и эксплуатируемый в определенной среде, удовлетворяет потребности пользователей в эффективном, продуктивном и безопасном решении задач.

Метрики качества в использовании помогают оценить не свойства самой ПС, а видимые результаты ее эксплуатации - эксплуатационное качество.

Очевидно, что для правильного измерения эксплуатационного качества важно учитывать контекст применения ПС – особенности категорий ее пользователей, специфику решаемых ими задач, а также физические и социальные факторы среды их работы.

Примерами эксплуатационных метрик качества могут быть точность и полнота достижения целей пользователей, производительность труда, ресурсы, потраченные в связи с достижением эффективного решения задач, мнение пользователей относительно свойств ПС и др.

Внутренние, внешние и эксплуатационные метрики качества взаимосвязаны. Достижение эксплуатационного качества зависит от удовлетворения критериев внешнего качества, основанных на внешних мерах и метриках качества, которые, в свою очередь, зависят от удовлетворения соответствующих критериев внутреннего качества, основанных на внутренних мерах и метриках, связанных с внешними.

Обычно требования пользователей к качеству специфицируются с помощью внешних метрик и эксплуатационных метрик качества, а внутренние метрики выбираются таким образом, чтобы они могли использоваться для предсказания значений внешних метрик.

Построить строгую теоретическую модель, устанавливающую взаимосвязь внешних и внутренних метрик, сложно, поэтому, как правило, строится гипотетическая модель, взаимосвязь метрик в которой моделируется статистически в ходе использования метрик.