테스트 대시보드(Agile 및 CMMI)

 

테스트 대시보드를 사용하면 테스트 작업 모니터링, 진행률 보고, 테스트 검사의 간격 찾기, 추가 확인이 필요한 테스트 영역 식별 등을 수행할 수 있습니다.  이 대시보드에는 가장 최근 4주 동안 실행된 테스트에 대한 정보를 제공하는 5개의 보고서가 표시됩니다.  

항목 내용 대시보드에 표시되는 데이터 모니터 테스트 활동에 필요한 작업입니다. 테스트 진행률 모니터링 테스트 간격 확인 테스트 실패 및 재발 모니터링

다음과 같은 질문에 답할 때 이 대시보드를 사용할 수 있습니다. 테스트 사례 작성 과정을 추적하고 있습니까? 팀에서 모든 사용자 스토리 또는 요구 사항에 대해 테스트 사례를 정의했습니까? 통과, 실패 또는 차단된 테스트 사례의 비율은 얼마입니까? 테스트 실패 메트릭을 볼 때 추가 확인이 필요한 문제가 있습니까? 어젯밤 빌드의 상태는 무엇입니까? 가장 최근의 체크 인은 무엇입니까?

요구 사항

• 테스트 계획 진행률, 테스트 사례 준비, 사용자 스토리지 테스트 상태, 요구 사항 테스트 상태 및 테스트 작업 보고서는 팀에서 Team Web Access를 사용하여 수동 테스트 계획의 설명에 따라 테스트 계획을 만들고 테스트를 실행하는 경우에만 사용할 수 있습니다.

• 팀 프로젝트에 대해 Analysis Services를 호스팅하는 서버를 사용할 수 없으면 번다운(Burndown), 진행률, 추세 차트 및 보고서(~)가 나타나지 않습니다.

• 프로젝트 포털 대시보드에 나열된 요구 사항에 추가됩니다.

대시보드에 표시되는 데이터

테스트 대시보드를 사용하면 팀에서 사용자 스토리(Agile) 또는 요구 사항(CMMI) 테스트를 올바르게 진행하고 있는지 판단할 수 있습니다.  테스트 대시보드에는 다음 웹 파트가 표시됩니다.  

Agile 프로세스 템플릿 버전

CMMI 프로세스 템플릿 버전

웹 파트	표시되는 데이터	관련 항목
	지난 4주 동안 가장 최근에 기록된 결과로 그룹화된 모든 테스트 사례의 테스트 결과를 보여 주는 누적 영역형 그래프입니다.  결과에는 실행 안 함, 차단됨, 실패 및 성공이 포함됩니다.	테스트 계획 진행률 보고서
	가장 최근 4주 동안 디자인 또는 준비 상태에 있었던 테스트 사례의 수를 보여 주는 누적 영역형 그래프입니다.	테스트 사례 준비 보고서
	각 사용자 스토리 또는 요구 사항에 대해 정의된 테스트 구성과 테스트 사례의 각 조합에 대한 테스트 결과의 수를 보여 주는 가로 막대형 차트입니다.  이 차트에서는 가장 최근의 테스트 실행에 따라 테스트 결과를 성공(녹색), 실패(빨강), 차단됨(자주) 또는 실행되지 않음(회색) 옵션으로 그룹화합니다.	사용자 스토리 테스트 상태 Excel 보고서(Agile) 요구 사항 테스트 상태 Excel 보고서(CMMI)
	가장 최근 4주 동안 모든 수동 테스트 사례에 대해 실행된 모든 결과의 수를 누적하여 보여 주는 꺾은선형 차트입니다.	테스트 활동 Excel 보고서
	가장 최근 4주 동안 테스트 사례를 실행하여 실패한 결과의 누적 개수를 실패 유형별로 정렬하여 보여 주는 누적 영역형 그래프입니다.  실패 유형에는 재발, 새 문제 및 알려진 문제가 있습니다.	오류 분석 Excel 보고서
	예정 이벤트의 목록입니다.  이 목록은 SharePoint 웹 파트에서 파생됩니다.	적용할 수 없음
	활성 작업 항목, 해결된 작업 항목 및 닫힌 작업 항목의 수입니다.  각 번호를 선택하여 작업 항목의 목록을 열 수 있습니다.  이 목록은 Team Web Access 웹 파트에서 파생됩니다.	적용할 수 없음
	최근 빌드와 해당 빌드 상태의 목록입니다.  특정 빌드를 선택하여 자세한 정보를 볼 수 있습니다.  이 목록은 Team Web Access 웹 파트에서 파생됩니다.   범례: : 빌드 시작되지 않음 : 빌드 진행 중 : 빌드 성공 : 빌드 실패 : 빌드 중지됨 : 빌드 부분 성공	빌드 실행, 모니터링 및 관리
	가장 최근의 체크 인 목록입니다.  특정 체크 인을 선택하여 자세한 정보를 볼 수 있습니다.  이 목록은 Team Web Access 웹 파트에서 파생됩니다.	코드 개발 및 보류 중인 변경 내용 관리

모니터 테스트 활동에 필요한 작업입니다.

테스트 대시보드에 유용하고 정확한 보고서를 표시하려면 팀에서 다음과 같은 작업을 수행해야 합니다.

• 테스트 사례와 사용자 스토리 또는 요구 사항을 정의하고 테스트 사례에서 사용자 스토리 또는 요구 사항으로 연결되는 테스트한 사람 링크를 만듭니다.

• 테스트 계획을 정의하고 테스트 사례를 테스트 계획에 할당합니다.

• 수동 테스트의 경우 테스트 사례의 각 유효성 검사 단계 결과를 통과 또는 실패로 표시합니다.

  중요

  테스터는 유효성 검사 테스트 단계를 수행하는 경우 테스트 단계의 상태를 표시해야 합니다.  테스트 사례의 전체 결과는 테스터가 표시한 모든 테스트 단계의 상태를 반영합니다.  따라서 테스터가 테스트 단계를 실패로 표시했거나 아무 것도 표시하지 않은 경우에는 테스트 사례의 상태가 실패로 설정됩니다.  

  자동화된 테스트의 경우 각 테스트 사례가 자동으로 성공 또는 실패로 표시됩니다.

• (선택 사항) 필터링을 지원하려면 반복 및 영역 경로를 각 테스트 사례에 할당합니다.

테스트 진행률 모니터링

테스트 대시보드의 처음 세 보고서를 사용하여 테스트 진행률을 모니터링하고 다음 표의 질문에 답할 수 있습니다.

Report	질문	메모
테스트 사례 준비	팀에서 정의한 테스트 사례는 몇 개입니까? 오늘 실행할 준비가 된 테스트 사례는 몇 개입니까? 팀이 작성하고 검토해야 할 테스트 사례는 몇 개입니까? 팀에서 구현하는 사용자 스토리 수와 비교하여 전체 테스트 사례의 수가 충분한 것 같습니까? 테스트 팀에서 오늘 실행할 수 있는 테스트 사례의 비율은 얼마입니까? 반복이 끝날 때까지 팀에서 모든 테스트 사례를 준비할 수 있습니까?	정상적인 진행은 팀이 디자인하고 준비 상태로 전환되는 테스트 사례의 수가 일정하게 증가하는 패턴을 보입니다. 비정상적인 진행은 실행할 준비가 된 테스트 사례가 전혀 또는 거의 없음을 보여 줍니다. 모든 테스트 사례가 오랫동안 디자인 상태로 유지되면 어떤 문제로 인해 진행이 중단된 것입니다.  이 경우에는 중단 원인을 조사할 수 있습니다.   테스트 사례의 수가 충분하지 않으면 테스트 간격이 나타날 수 있습니다. 프로젝트에 대해 정의된 테스트 사례의 수는 팀이 구현하는 사용자 스토리의 수보다 많거나 같아야 합니다.  테스트 사례 수가 충분하지 않은 것 같습니다.
테스트 계획 진행률	통과하는 테스트 사례는 몇 개입니까? 실패하는 테스트 사례는 몇 개입니까? 차단된 테스트 사례는 몇 개입니까? 실행되지 않는 테스트 사례는 몇 개입니까? 모든 테스트 계획을 통과하는 테스트 사례의 비율은 얼마입니까? 팀에서 완료한 테스트는 얼마나 됩니까? 팀에서 테스트를 제 시간 내에 완료할 가능성이 높습니까?	개발 주기가 진행됨에 따라 통과하는 테스트 사례의 수는 증가하고 다른 상태의 테스트 사례 수는 감소해야 합니다. 실패하는 테스트 사례가 너무 많으면 비정상적인 진행이 발생합니다.  제품 주기에서 어느 위치에 있는지에 따라 테스트 사례가 많이 실패하는 이유를 조사할 수도 있습니다.   실패하거나 실행되지 않는 테스트 사례의 수가 변동이 없으면 각 영역에 영향을 주는 특정 원인을 조사할 수 있습니다.
유저 스토리 테스트 상태 요구 사항 테스트 상태	각 사용자 스토리 또는 요구 사항에 대해 테스트 사례가 실행되고 있습니까? 테스트 사례가 차단되었거나 실행되지 않는 경우 팀에서 차단 문제를 이해하고 해결하고 있습니까?	정상적인 진행은 각 사용자 스토리 또는 요구 사항에 대해 대부분의 테스트 사례가 통과하는 모습을 보입니다. 비정상적인 진행은 특정 사용자 스토리지 또는 요구 사항에 대해 실행 안 함, 차단됨 또는 실패 상태의 테스트 사례가 너무 많은 모습을 보입니다.  사용자 스토리 또는 요구 사항에 대해 정의된 테스트 사례가 통과하지 못하는 원인을 조사할 수 있습니다.

테스트 간격 확인

사용자 스토리 테스트 상태 또는 요구 사항 테스트 상태 보고서를 사용하면 테스트가 모든 코드를 대상으로 하는지 확인하고 다음과 같은 질문에 답할 수 있습니다.

• 전체 테스트 사례의 수가 적은 사용자 스토리 또는 요구 사항은 무엇입니까?

• 차단되거나 실행되지 않는 전체 테스트 사례의 수가 많은 사용자 스토리 또는 요구 사항은 무엇입니까?

• 각 사용자 스토리 또는 요구 사항에 대한 테스트 사례 검사가 기대에 충족됩니까?

• 테스트 실패율이 높은 사용자 스토리 또는 요구 사항은 무엇입니까?

• 각 사용자 스토리 또는 요구 사항에 대해 정의된 평균 테스트 사례의 수는 몇 개입니까?

테스트 실패 및 재발 모니터링

테스트 실패를 모니터링하면 초기에 코드에서 문제를 식별하고 처리할 수 있습니다.  테스트 대시보드의 마지막 두 보고서를 사용하면 실패하는 테스트의 수를 쉽게 파악할 수 있습니다.  

Report	질문	메모
수동 테스트 작업	팀에서 실행하지 않은 테스트의 수가 감소하고 있습니까? 팀은 차단된 테스트의 전체 수를 최소화하고 있습니까? 시간이 지남에 따라 실패하는 테스트의 수가 줄어들고 있습니까? 통과하는 테스트가 증가하고 있습니까? 설명할 수 없는 스파이크가 테스트 작업에 포함되어 있습니까?	수동 테스트 작업 보고서는 각 테스트 구성과 모든 테스트 계획에 대해 실행되는 각 테스트 사례의 결과를 나타냅니다.  스파이크가 발생하면 팀에서 체크 인하는 코드의 품질 또는 테스트 작업에서 문제가 있음을 알 수 있습니다.   최근 빌드, 버그 상태 및 코드 변동(code churn)의 메트릭을 확인하여 이 중에서 변경을 설명하는 데 도움이 되는 요소가 있는지 판단할 수 있습니다.
테스트 실패 분석	재발하는 테스트는 몇 개입니까? 전체 재발 또는 테스트 실패 수가 팀의 예상 범위 또는 목표 내에서 유지되고 있습니까? 팀에서 알려진 문제로 식별된 문제를 적시에 처리하고 있습니까?	정상적인 테스트 실패 분석 보고서에는 적당한 수의 새 문제, 알려진 문제 및 재발이 표시됩니다.  이러한 영역에서 스파이크가 발생하면 팀에서 추가로 조사를 수행해야 할 수도 있습니다.  스파이크는 팀에서 체크 인하는 코드의 품질 또는 테스트 작업에서 문제가 있음을 나타낼 수 있습니다.   또한 최근 빌드, 버그 상태 및 코드 변동(code churn)의 메트릭을 확인하여 이 중에서 변경을 설명하는 데 도움이 되는 요소가 있는지 판단할 수도 있습니다.

참고 항목

프로젝트 포털 대시보드