Часть I. Процесс быстрого тестирования. В таблицах с 5.1 по 5.4 дано краткое описание некоторых основных свойств, кото­ рыми должна обладать система отслеживания дефектов

В таблицах с 5.1 по 5.4 дано краткое описание некоторых основных свойств, кото­ рыми должна обладать система отслеживания дефектов. Можно построить собствен­ ное инструментальное средство отслеживания дефектов, тем не менее, существуют различные серийно выпускаемые инструментальные средства, позволяющие сэконо­ мить массу времени и усилий, которые пришлось бы потратить на разработку эффек­ тивной системы отслеживания дефектов. Набор возможностей и удобство и простота использования вашей системы отслеживания дефектов существенно влияет на эф­ фективность применяемой организации тестирования, поэтому выбор системы от­ слеживания дефектов следует производить максимально аккуратно.

В следующем разделе дано описание формата сообщения о дефекте, который хо­ рошо вписывается в только что приведенную общую схему.

Как составлять сообщения о дефектах

Каждый раз, когда обнаруживается новый дефект, должно составляться письменное сообщение об этом дефекте. Если информация о дефекте не будет получена доста­ точно оперативно, могут возникнуть трудности при восстановлении обстоятельств, которые привели к возникновению проблемы. Это тем более справедливо, если при­ меняются специализированные виды тестирования. Если выполняется прогон доку­ ментированного тестового случая, то его исход может быть обозначен как неудач­ ный, а отличия фактических результатов тестов от ожидаемых могут быть зарегист­ рированы как составная часть прогона теста. Как только специализированный вид тестирования обнаруживает проблему или как только прогон теста завершен, должно быть составлено сообщение о дефекте.

Пример шаблона сообщения о дефекте показан на рис. 5.3. Этот шаблон может быть представлен в форме печатного бланка, который вручную заполняется тести-ровщиком, в виде шаблона ввода данных в Web-формате или как часть базы данных системы отслеживания дефектов. Такой шаблон сообщения о дефекте представляет собой средство сбора тестовых данных, которые отображаются в таблице 5.2.

От умения специалистов по тестированию составить толковое сообщение о де­ фекте в значительной мере зависит успех их деятельности. Часто время, затрачивае­ мое тестировщиками на изучение сообщений о дефектах, которые были составлены их организациями во время разработки аналогичных проектов, приносит большую пользу. В идеальном случае имеется набор " золотых примеров", который дает воз­ можность тестировщикам, не имеющим достаточного опыта, получить понимание того, что такое высококачественное сообщение о дефекте и какие факторы делают такое сообщение неэффективным.

Вообще говоря, сообщение о дефекте считается плохо составленным или неэф­ фективным, если:

• Оно составлено по ошибке — дефект, описанный в сообщении, не существует.

• Возникшая проблема представлена в описании нечетко или неоднозначно — проблема, возможно, и существует, но в то же время она описана настолько плохо, что поведение системы не ясно.

• Оно не содержит информации, необходимой разработчику для воссоздания

проблемы — признаки проблемы описаны, но при этом отсутствуют пояснения к действиям, которые послужили причиной возникновения проблемы.

Сообщение о дефекте

Идентификатор дефекта:

Кем обнаружен:

Дата обнаружения:

Обнаружен в сборке:

Степень серьезности дефекта (катастрофический, крупный, незначительный):

Идентификатор теста:

Краткое описание проблемы:

Подробное описание проблемы:

Как воспроизвести проблему:

(Если был использован недокументированный тест, подробно опишите методику тестирования. При необходимости дайте схему конфигурации средств тестирования.)

Рис. 5.3. Шаблон сообщения об ошибке

Правильно составленное сообщение о дефекте обладает совершенно другими свойствами:

• Оно описывает фактический дефект программного продукта.

• В нем четко описаны признаки проблемы через отклонения поведения систе­ мы от нормы.

•.Оно содержит процедуру пошагового воспроизведения проблемы.

Анализ обнаруженных дефектов

Если бы процесс обнаружения и исправления дефектов был совершенным, то необ­ ходимость в анализе дефектов отпала бы сама по себе. К сожалению, человеческий фактор вступает в действие уже на стадии системных испытаний, впрочем, как и на других этапах цикла разработки. Ошибки могут неожиданно обнаружиться в тесто­ вых случаях, в конфигурациях средств тестирования или в интерпретации данных тестирования. Когда обнаружен дефект, необходимо проследить за тем, чтобы свое­ временно был назначен исполнитель, ответственный за его устранение, что обеспе­ чит исправление дефекта и проверку результатов этого исправления.

Один из способов проверки результатов тестирования и предотвращения возник­ новения ошибок при отслеживании дефектов предусматривает еженедельный анализ дефектов, обнаруженных во время системных испытаний. Назначение анализа де­ фектов состоит в том, чтобы: