Модели эффективности отладки

Для прогнозирования момента обнаружения (проявления) дефекта можно использовать экспоненциальную, вейбулловскую или степенную модели. Тогда зависимости (3.41)− (3.43) можно трактовать как функции распределения времени обнаружения дефекта. Однако они не учитывают такой важный параметр, как исходное число дефектов. Используя главную идею моделей (3.41)− (3.43) о нелинейной зависимости числа обнаруженных дефектов от времени отладки, можно рассчитывать ОЧД с помощью формул

где − параметры моделей. Значения параметров определяют на основании опыта отладки других программных изделий и уточняют по результатам отладки после обнаружения первого и второго дефектов в данном программном изделии.

Рассмотрим еще одну модель отладки ПО, основанную на понятии конгруэнтного множества (КМ). Пусть имеется комбинационная логическая структура со входным вектором и выходным вектором .

В комбинационной схеме каждому набору X соответствует определенный набор Y, не зависящий от внутреннего состояния системы при правильной ее работе. Обнаружение дефекта происходит по несовпадению фактического значения вектора Y с правильным значением. Назовем конгруэнтным множеством подмножество множества Е значений вектора X, обладающее следующим свойством: предъявление любого значения из способно обнаружить дефект определенного типа. Логическим индикатором КМ является минимальная дизъюнктивная нормальная форма, содержащая все элементарные конъюнкции логических переменных без отрицания. Число называют рангом КМ. Например, логический индикатор КМ первого ранга имеет вид . Размером КМ называют количество конституент единицы в совершенной дизъюнктивной нормальной форме (СДНФ) логической функции, соответствующей одной тестовой комбинации. Так, для количество конституент единицы равно . Элементарной конъюнкции соответствует СДНФ, содержащая конституент единицы. В общем случае КМ -го ранга имеет размер , а относительный размер равен . Количество КМ такого размера равно .

Для полного тестирования КМ -го ранга надо предъявить входных наборов. Предъявляя входные наборы сериями по входных наборов , так что в каждой серии набор содержит ровно единиц, проводим тестирование одновременно нескольких КМ. После серии с номером полностью проверенными оказываются КМ ранга и частично проверенными − КМ ранга Если в КМ -го ранга есть хотя бы один дефект, то после завершения -й серии условная вероятность его обнаружения равна

Если известно распределение вероятностей дефекта по конгруэнтным множествам, то после завершения -й серии шагов отладки безусловная вероятность обнаружения дефекта

Общая длина тестовой последовательности

Вероятность необнаружения дефекта после завершения m-й серии

Здесь имеет смысл вероятности того, что после т-й серии отладочных наборов дефект в КМ r-го ранга не проявится. Вероятность проявления дефекта после m-й серии равна . Согласно другой трактовке, есть безусловная вероятность того, что в КМ после отладки останется дефект, а − вероятность отсутствия дефекта после отладки.

Пусть теперь т- ятестовая серия длиной выполнена не полностью, а проверен результат только по наборам . Представим (10.20) в виде

Тогда вероятность проявления дефекта в КМ r-го ранга при неполной т-й серии

После полных и m -й неполной серии условная вероятность проявления дефекта в КМ r-го ранга

Безусловная вероятность проявления дефекта

Вероятность того, что дефект не будет обнаружен после неполной m-й серии,

Вероятность можно трактовать как математическое ожидание количества обнаруженных дефектов при наличии в программе не более одного дефекта. Если в ней есть N дефектов, то математическое ожидание числа обнаруженных дефектов после -й серии

Среднее остаточное количество дефектов

При неполной т-й серии

Вероятность того, что после т-й серии в программе не останется ни одного дефекта

Вероятность является гарантированной нижней оценкой вероятности безотказной работы.

Правило завершения отладки может быть составлено либо путем нормирования длительности отладки, либо путем нормирования коэффициента эффективности отладки. В первом случае отладка завершается по достижении длиной тестовой последовательности нормативного значения . Исходя из этого рассчитывают коэффициент эффективности отладки по одной из следующих формул:

Во втором случае отладка завершается по выполнении одного из следующих неравенств:

Если в (10.28) принято первое правило, то нормируется остаточное число дефектов. Из уравнения находят сначала а затем L. Если принято второе правило, то нормируется вероятность полного отсутствия дефектов. Второе требование более жесткое и требует знания исходного числа дефектов N. Оба правила дают одинаковые длительности отладки, если

Пример 4.1. Пусть на вход программы комбинационного типа подается набор данных из пяти бинарных переменных. Известно, что после программирования ожидаемое число дефектов равно 2 и они распределены по КМ равномерно. Необходимо оценить эффективность отладки после т-й серии отладочных наборов (m = 1...5) и найти гарантированную нижнюю оценку вероятности безотказной работы программы для L = 6, 16, 26 и 31.

Решение. Результаты расчетов по формуле (10.20) приведены в табл. 4.1.

Таблица 4.1

Условная вероятность обнаружения дефекта в КМ r-го ранга

r
	m=0	m=1	m=2	m=3	m=4	m=5
	0, 5
	0, 25	0, 75
	0, 125	0, 50	0, 875
	0, 0625	0, 3125	0, 6875	0, 9325
	0, 03125	0, 1875	0, 5000	0, 8175	0, 96875

Из данных, приведенных в табл. 4.1, видно, что труднее всего обнаруживаются дефекты в КМ более высокого ранга. При длительности теста, составляющей 50 от длительности полного теста , в первых двух КМ дефекты обнаруживаются гарантированно, а в КМ 5-го ранга − лишь с вероятностью 0, 5. Расчет безусловной вероятности обнаружения дефекта, которая является показателем эффективности отладки, проводится по формуле (10.21). Результаты расчетов приведены в первой строке табл. 4.2.

Таблица 4.2

Безусловная вероятность обнаружения дефекта

Модель
	m=0	m=1	m=2	m=3	m=4	m=5
KM	0, 194	0, 55	0, 813	0, 950	0, 994
Экспонента	0, 125	0, 55	0, 881	0, 969	0, 984	0, 986
Степенная	0, 290	0, 55	0, 781	0, 929	0, 989
Средняя	0, 207	0, 55	0, 831	0, 949	0, 986	0, 993

Эффективность отладки достигает значения 0, 95 при длительности отладки, достигающей значения 81, 25% от длительности полного теста. Зависимость вероятности от , как и в моделях (10.17)− (10.19), нелинейная. Для сравнения в табл. 4.2 приведены результаты расчетов для экспоненциальной и степенной моделей. Для определения параметров а и т используется точка L = 6:

Отсюда а = 4, 26, т = 2, 8. Из табл. 10.2 видно, что почти всюду экспоненциальная и степенная модели дают двустороннюю оценку значения, полученного по модели КМ. Поэтому среднее арифметическое этих значений довольно близко к значениям модели КМ. Максимальное относительное отклонение (при т = 2) не превышает 10%.

Среднее остаточное число дефектов, рассчитанное по формуле (10.25), уменьшается более чем вдвое уже при коэффициенте полноты тестирования и в 20 раз при (табл. 4.3).

Таблица 4.3

Среднее остаточное число дефектов

Модель
	т=1	m=2	т=3	т=4
KM	0, 9	0, 375	0, 100	0, 0075
Средняя	0, 9	0, 278	0, 102	0, 027

Нижняя гарантированная оценка вероятности безотказной работы, рассчитанная по формуле (10.27), составляет 0, 66 при m =2 и 0, 9 при m =3.

Для баз данных можно рассмотреть две стратегии отладки.

1. Отладка всего объема проводится автономно и независимо от ФСО. Если на каждом шаге тестирования проверяется объем , а исходное число дефектов известно, то количество дефектов в объеме имеет биномиальное распределение с параметрами и . При отладке происходит «просеивание» дефектов с вероятностью, равной коэффициенту эффективности отладки α. Значение α оценивается по статистическим данным предыдущих опытов отладки. Остаточное число дефектов определяют по формуле . Если отладка разделена на автономную и комплексную, то остаточное число дефектов после автономной и комплексной отладки

2. Отладка проводится только в той части общего объема , которая используется при выполнении конкретной ФСО. Дефекты обнаруживаются в процессе многократного выполнения ФСО на тестовых задачах или в процессе эксплуатации. Эффективность отладки для этой стратегии будет рассмотрена далее.