Панель мониторинга "Тест" (Agile и CMMI)

 

С помощью панели мониторинга "Тест" можно отслеживать операции тестирования, создавать отчеты о ходе выполнения, находить пробелы в покрытии тестами и определять области, требующие дополнительного изучения.  Эта панель мониторинга показывает пять отчетов, предоставляющих сведения о тестировании за последние четыре недели.  

Содержание раздела Данные, отображаемые на панели мониторинга Необходимые действия для мониторинга тестовых операций Мониторинг хода выполнения теста Определение пробелов в тестировании Мониторинг регрессий и ошибок тестирования

Эту панель мониторинга можно использовать для ответа на следующие вопросы. Отслеживается ли разработка тестового случая? Определила ли команда тестовые случаи для всех пользовательских историй или требований? Каковы доли успешных, неуспешных и заблокированных тестовых случаев? Указывают ли метрики ошибок тестов на проблему, требующую дополнительного изучения? В каком состоянии находится вчерашнее построение? Что входит в число последних возвратов?

Требования

• Отчеты Ход выполнения плана тестирования, Готовность тестовых случаев, Состояние тестирования пользовательских историй, Состояние тестирования требований и Действия тестирования доступны, только когда команда создает планы тестирования и выполняет тесты так, как описано в разделе Планирование ручных тестов с помощью Team Web Access.

• Диаграммы выработки, хода выполнения и трендов и отчеты от до не отображаются, если недоступен сервер, на котором размещаются службы Analysis Services для командного проекта.

• См. требования в разделе Панели мониторинга портала проекта.

Данные, отображаемые на панели мониторинга

С помощью панели мониторинга "Тест" можно определить, насколько успешно команда выполняет тестирование пользовательских историй (Agile) или требований (CMMI).  Панель мониторинга "Тест" отображает следующие веб-части.  

Версия шаблона процесса Agile

Версия шаблона процесса CMMI

Веб-часть	Отображаемые данные	Связанный раздел
	Диаграмма с областями результатов всех тестовых случаев, сгруппированных по последнему записанному результату на протяжении последних четырех недель.  Результаты включают следующие значения: Никогда не запускавшиеся, Заблокировано, Сбой или Выполнено.	Отчет "Ход выполнения плана тестирования"
	Гистограмма, показывающая количество тестовых случаев, находящихся в состоянии Разработать или Готово в последние четыре недели.	Отчет "Готовность тестовых случаев".
	Горизонтальная линейчатая диаграмма, показывающая количество результатов теста для каждой комбинации тестового случая и конфигурации теста, определенной для каждой пользовательской истории или требования.  В диаграмме результаты тестов группируются по последним тестовым запускам; отображаемые параметры: Выполнено (зеленый), Непройденный (красный), Блокировано (фиолетовый) или Никогда не запускавшиеся (серый).	Отчет "Состояние тестирования описания функциональности пользователей" в формате Excel (гибкая разработка) Отчет "Состояние тестирования требования" в формате Excel (CMMI)
	График показывает совокупное количество всех результатов запусков ручных тестовых случаев в течение последних четырех недель.	Отчет "Действия тестирования" в формате Excel
	Диаграмма с областями, показывающая совокупное количество всех неудачных выходных результатов тестовых случаев, отсортированных по типу сбоя, в течение последних четырех недель.  Типы сбоев включают следующие: Регрессия, Новая проблема и Известная проблема.	Отчет "Анализ сбоя" в формате Excel
	Список предстоящих событий.  Этот список является производным от веб-части SharePoint.	Неприменимо
	Количество активных, разрешенных и закрытых рабочих элементов.  Открыть список рабочих элементов можно путем нажатия каждого номера.  Этот список является производным от веб-части Team Web Access.	Неприменимо
	Список последних сборок, включая сведения об их состоянии.  Для просмотра дополнительных сведений выберите конкретную сборку.  Этот список является производным от веб-части Team Web Access.   Условные обозначения: : Сборка не начата : Выполняется сборка : Сборка успешно завершена : Ошибка сборки : Сборка остановлена : Сборка частично успешно выполнена	Запуск сборок, наблюдение за сборками и управление ими
	Список последних возвратов.  Для просмотра дополнительных сведений выберите конкретный возврат.  Этот список является производным от веб-части Team Web Access.	Разработка кода и управление ожидающими изменениями

Необходимые действия для мониторинга тестовых операций

Для обеспечения точности и актуальности отчетов в панели мониторинга "Тест" команда должна выполнить следующие действия.

• Определить тестовые случаи и пользовательские истории или требования и создать связи Тест выполнил между тестовыми случаями и пользовательскими историями или требованиями.

• Определите планы тестирования и назначьте им тестовые случаи.

• Для ручных тестов, отмечать результаты каждого проверочного шага в тестовом случае как "пройдено" или "не пройдено".

  Важно!

  Если тест проверочный, тест-инженеры должны отмечать шаги теста состояниями.  Общий результат тестового случая отражает состояние всех шагов теста, отмеченных тест-инженером.  Таким образом, тестовый случай получит состояние "Завершен неудачей", если инженер-испытатель отметил какой-либо шаг теста как завершенный неудачей или не отметил его вовсе.  

  Для автоматических тестов, каждый тестовый случай автоматически отмечается как пройденный или завершившийся неудачей.

• (Необязательно) Чтобы включить фильтрацию, назначьте каждому тестовому случаю значения Путь итерации и Путь к области.

Мониторинг хода выполнения теста

Можно использовать первые три отчета панели мониторинга "Тест", чтобы следить за ходом выполнения теста и отвечать на вопросы в следующей таблице.

Отчет	Вопросы, на которые отвечает отчет	Примечания
Готовность тестового случая	Сколько тестовых случаев определила команда по тестированию? Сколько тестовых случаев готовы к выполнению на данный момент? Сколько тестовых случаев все еще следует написать и просмотреть? Достаточно ли общего количества тестовых случаев для количества пользовательских историй, реализуемых командой? Какой процент тестовых случаев команда по тестированию может выполнить на данный момент? Сможет ли команда подготовить все тестовые случаи к концу итерации?	На хороший ход выполнения указывает равномерное увеличение числа тестовых случаев, разрабатываемых и перемещаемых командой в состояние готовности. На проблемы с ходом выполнения указывает отсутствие или небольшое число готовых к выполнению тестовых случаев. Если все тестовые случаи находятся длительное время в состоянии разработки, возможно, какая-то проблема блокирует дальнейшее выполнение.  Может потребоваться изучение причин блокировки.   Если количество тестовых случаев выглядит недостаточным, может возникнуть пробел в тестировании. Количество тестовых случаев, определенных для проекта, должно быть не меньше количества пользовательских историй, реализуемых командой.  Количество тестовых случаев выглядит недостаточным.
Ход выполнения плана тестирования	Сколько тестовых случаев завершается успешно? Сколько тестовых случаев завершается неудачей? Сколько тестовых случаев блокируется? Сколько тестовых случаев никогда не выполнялось? Каков процент тестовых случаев, завершившихся успешно по всем планам тестирования? Какую часть тестирования выполнила команда? Будет ли завершено вовремя тестирование?	С течением цикла разработки количество выполненных тестов должно увеличиваться, а количество тестовых случаев с другими состояниями должно убывать. На проблемы с ходом выполнения указывает слишком большое число неудачных тестовых случаев.  В зависимости от текущей стадии в цикле продукта, возможно, следует проверить причину завершения большего количества тестовых случаев неудачей.   Если число тестовых случаев, невыполненных или завершенных неудачей, не меняется, может быть нужным исследовать причины, связанные с каждой из областей.
Состояние тестирования пользовательских историй Состояние тестирования требования	Выполняются ли тестовые случаи для каждой пользовательской истории или требования? Если тестовые случаи блокируются или не выполняются, понимает ли команда причины блокировки и устраняет ли их?	На хороший ход выполнения указывает высокая доля успешно пройденных тестовых случаев для каждой пользовательской истории или требования. На проблемы с ходом выполнения указывает большое число тестовых случаев для определенной пользовательской истории или требования, находящихся в состоянии Никогда не запускавшиеся, Заблокировано или Сбой.  Может потребоваться исследовать причины, препятствующие успешному прохождению тестовых случаев, определенных для пользовательской истории или требования.

Определение пробелов в тестировании

С помощью отчета Состояние тестирования пользовательских историй или Состояние тестирования требований можно определять, покрывают ли тесты весь код, и отвечать на следующие вопросы.

• Какие пользовательские истории или требования имеют наименьшее общее количество тестовых случаев?

• Какие пользовательские истории или требования имеют наибольшее общее количество тестовых случаев, которые заблокированы или никогда не выполнялись?

• Соответствует ли ожиданиям объем тестового случая для каждой пользовательской истории или требования?

• Какие пользовательские истории или требования отличаются высоким процентом сбоев тестов?

• Сколько тестовых случаев в среднем определено для каждой пользовательской истории или требования?

Мониторинг регрессий и ошибок тестирования

Отслеживая сбои тестов, можно заранее определять и решать проблемы в коде.  Можно использовать два последние отчета панели мониторинга "Тест", чтобы узнавать количество тестов, завершающихся неудачей.  

Отчет	Вопросы, на которые отвечает отчет	Примечания
Действия тестирования, выполняемые вручную	Уменьшается ли количество тестов, не выполненных командой? Уменьшает ли команда общее количество заблокированных тестов? Уменьшается ли со временем количество тестов, завершающихся неудачей? Выполняется ли больше тестов? Имеются ли какие-либо необъяснимые пики активности тестирования?	Отчет Действия тестирования, выполняемые вручную показывает результаты каждого тестового случая для каждой конфигурации теста и для всех планов тестирования.  Выявленные пики могут указывать на проблемы в действиях тестирования или в качестве кода, возвращаемого командой.   Может понадобиться проверить показатели последних построений, состояние ошибок, а также обработанный код, чтобы определить, могут ли они помочь понять изменения.
Анализ ошибок тестирования	Сколько тестов находится в состоянии регрессии? Поддерживает ли команда общее число регрессий или сбоев тестов в пределах ожидаемого диапазона или командных целей? Решает ли команда своевременно новые и известные проблемы?	Хороший отчет "Анализ ошибок тестирования" содержит умеренное число новых и известных проблем и регрессий.  При возникновении в этих областях каких-либо пиков может потребоваться дополнительное исследование.  Пики могут указывать на проблемы в действиях тестирования или в качестве кода, возвращаемого командой.   Кроме того, может понадобиться проверить показатели последних построений, состояние ошибок, а также обработанный код, чтобы определить, могут ли они помочь понять изменения.

См. также

Панели мониторинга портала проекта