Программа оценки ошибок программного обеспечения (SWEEP)

Программа оценки ошибочности программного обеспечения (Software Error Estima­ tion Program, SWEEP), разработанная консорциумом Software Productivity Consortium, является средством прогнозирования для расчета коэффициентов ошибок, в том числе и скрытых. Скрытой ошибкой считается любая ошибка, остающаяся в про­ граммном продукте, т.е. такая ошибка, которая существует, но еще не обнаружена. Ценность модели SWEEP состоит в том, что она упрощает управление и прогнозиро­ вание ошибок в системах с интенсивным использованием программного обеспече­ ния. Эта модель поддерживает определение целей обнаружения ошибок во время разработки программного обеспечения и помогает отслеживать продвижение по пу­ ти реализации этих целей. За счет прогнозирования количества ошибок, остающихся в программной системе, SWEEP осуществляет мониторинг и помогает контролиро­ вать качество программных продуктов. Ниже приведен перечень допущений, лежа­ щих в основе модели:

• Все обнаруженные ошибки должны быть записаны в момент их обнаружения.

• Ошибки исправляются после их обнаружения, и во время устранения обнару­ женных ошибок не вносятся новые ошибки.

• Трассировка ошибок должна выполняться единообразно в течение всех этапов жизненного цикла.

Часть II. Технологии быстрого тестирования и советы

• Ошибки в документации должны отслеживаться отдельно от программных ошибок.

• Входные данные программы SWEEP должны регулярно проверяться и обнов­ ляться.

• Точность результатов выполнения программы SWEEP будет повышаться про­ порционально вводу фактических количеств ошибок, полученных на других этапах процесса разработки.

Определения трех режимов использования программы SWEEP приведены в таб­ лице 11.7.

Таблица 11.7. Определения режимов программы SWEEP

Тестировщикам программного обеспечения SWEEP предлагает понятное графи­ ческое представление обнаруженных ошибок и прогноза оставшихся ошибок. Кроме того, она дает возможность пользователям выполнять сравнение с ранее полученны­ ми данными, что делает реальной точную оценку состава скрытых ошибок на различ­ ных этапах жизненного цикла. Руководителю подразделения обеспечения качества программа SWEEP позволяет точно прогнозировать количество циклов тестирова­ ния, которые потребуются для удовлетворения требований заданного стандарта ка­ чества. Пример модели SWEEP, в которой используется привязка к этапам, приведен на рис. 11.10. Обратите внимание, что в данном проекте только что завершилась ин­ спекция начального исходного кода на предмет его соответствия рабочей проектной документации, в ходе которой было обнаружено 3, 48 ошибок на тысячу строк кода. Наибольшее совпадение рэлеевскои кривой распределения ошибок с фактическими данными наблюдается для момента получения самых последних данных, и ему соот­ ветствует значение, равное 3, 48. Значения 3, 3 и 7, 8, полученные, соответственно она этапах эскизного и рабочего проектирования, проходят через это же значение 3, 48. В соответствии с этой рэлеевскои кривой распределения на следующем этапе тестиро­ вания блоков следует ожидать обнаружения около 2, 12 ошибок на тысячу строк ис­ ходного кода. В случае сохранения той же тенденции в момент поставки клиенту про­ граммный продукт должен содержать менее 0, 07 ошибок на тысячу строк кода.

Рис. 11.10. Режим 2 SWEEP: модель с привязкой ко времени

Следующим логическим шагом процесса было бы усреднение для большого числа проектов фактических данных о количестве ошибок, приходящихся на тысячу строк кода, которые обнаружены на каждом из этапов (ЭП, РП, ТКМ, КИ и СИ). В следую­ щем проекте должна иметься возможность использования этих данных, обозначен­ ных на рис. 11.11 как " Номинальные значения", в качестве меры количества ошибок, обнаружение которых следует ожидать при выполнении проекта с таким же уровнем качества, или даже меры прекращения дальнейшего тестирования во имя повышения производительности инспекций. Верхний и нижний пределы уровня контроля каче­ ства могут быть установлены, например, равными трем сигма от номинальных значе­ ний данных.

Рэлеевская функция распределения ошибок представляет собой важный инстру­ мент в арсенале инженера системного тестирования. На этапе системного тестиро­ вания все существующие случаи тестирования применяются методично день за днем, в ходе выполнения тестирования новых подсистем и регрессивного тестирования новых сборок, в которых устранены ошибки, обнаруженные в предыдущих сборках. На рис. 11.12 показаны фактические данные ошибок, собранные в ходе выполнения ряда системных испытаний кандидатов на роль выпусков. При этом сборки выполня­ лись еженедельно, а обнаруженные ошибки наносились на столбчатую диаграмму ежедневно. Вычерчивание огибающей было выполнено автоматически при помощи модели с использованием привязки ко времени программы SWEEP. Обратите внима­ ние, что если заранее было определено допустимое количество ошибок на тысячу строк кода, которое может быть поставлено клиенту, тестировщики могут смело ис­ пользовать эту диаграмму для определения условий прекращения этапа системных испытаний.

262 Часть II. Технологии быстрого тестирования и советы