테스트 팀 진행률 Excel 보고서

아티클
02/21/2013

소프트웨어 테스트를 담당하는 팀은 테스트 팀 진행률 보고서를 사용하여 테스트 작업을 모니터링할 수 있으며 테스트 작성 및 자동화, 재발 테스트 수행과 관련하여 팀의 진행률을 보고할 수 있습니다.테스트 팀 진행률 보고서는 팀 프로젝트에 정의된 테스트 사례에 대해 수집된 데이터 및 테스트 결과에 따라 다음과 같은 6개의 보고서를 제공합니다.

테스트 계획 진행률: 팀에서 완료한 테스트가 얼마나 되는지 그리고 테스트 작업을 제 시간 내에 완료할 가능성이 높은지 등을 확인할 수 있습니다.
테스트 사례 작성 상태: 팀에서 테스트 사례를 실행할 수 있도록 테스트 사례 정의의 완료 상태를 추적할 수 있습니다.
도구 모음별 테스트 상태: 팀에서 각 테스트 도구 모음 내에서 완료된 테스트의 양을 확인할 수 있습니다.
영역별 테스트 상태: 팀에서 각 제품 영역 내에서 완료된 테스트의 양을 확인할 수 있습니다.
실패 분석: 팀에서 발견하는 재발의 수를 모니터링할 수 있습니다.
자동화 디자인 상태: 팀에서 자동화해야 할 테스트 사례의 수를 추적할 수 있도록 지원합니다.

테스트 팀 진행률 보고서는 팀에서 테스트 계획을 만들고 Microsoft Test Manager를 사용하여 테스트 실행을 시작하는 경우에만 사용할 수 있습니다.자세한 내용은 응용 프로그램 테스트를 참조하십시오.

[!참고]

팀 탐색기에서 팀 프로젝트의 Excel 보고서 폴더 아래에 있는 테스트 팀 관리 폴더에서 테스트 팀 진행률 보고서에 액세스할 수 있습니다.팀 프로젝트 포털이 사용하도록 설정되어 있고 SharePoint 제품을 사용하도록 프로비전된 경우에만 이 폴더에 액세스할 수 있습니다.자세한 내용은 팀 프로젝트 포털 또는 프로세스 지침 액세스를 참조하십시오.

항목 내용

보고서의 데이터
테스트 팀 진행률 모니터링에 필요한 작업
보고서 업데이트 및 사용자 지정

관련 항목

필요한 권한

보고서를 보려면 SharePoint 제품에서 팀 프로젝트에 대한 읽기 권한이 할당된 그룹에 할당되거나 속해야 합니다.

보고서를 수정하거나 사용자 지정하려면 SQL Server Analysis Services에서 TfsWarehouseDataReaders 보안 역할의 멤버여야 합니다.또한 SharePoint 제품에서 팀 프로젝트에 대한 멤버 권한이 할당된 그룹에 할당되거나 속해야 합니다.자세한 내용은 Visual Studio ALM용 데이터 웨어하우스의 데이터베이스에 대한 액세스 부여 및 권한 관리를 참조하십시오.

보고서의 데이터

테스트 팀 진행률 보고서에서 제공하는 데이터는 데이터 웨어하우스에 저장된 데이터에 액세스하는 피벗 테이블 보고서를 기반으로 합니다.이 데이터는 팀 멤버가 테스트 사례를 정의하고 Microsoft Test Manager를 사용하여 테스트를 실행할 때 생성되는 결과에서 파생됩니다. 자세한 내용은 Microsoft Test Manager에서 테스트 실행 및 Microsoft Test Manager에서 테스트 결과 검토를 참조하십시오.

테스트 사례 작성 상태 및 자동화 디자인 상태

팀에서는 테스트 사례 작성 상태 보고서를 사용하여 테스트 사례 정의 및 디자인 작업에 대한 팀의 진행률을 모니터링할 수 있습니다.이 보고서에는 가장 최근 6주 동안 디자인 및 준비 상태에 있던 테스트 사례의 수를 나타내는 번다운(burndown) 차트가 표시됩니다.

테스트 사례 작성 Excel 보고서

팀에서는 자동화 디자인 상태 보고서를 사용하여 테스트 사례 자동화 작업에 대한 팀의 진행률을 모니터링할 수 있습니다.이 보고서에는 가장 최근 6주 동안 자동화 상태로 전환된 테스트 사례의 수를 나타내는 번다운(burndown) 차트가 표시됩니다.

자동화 디자인 상태 Excel 보고서

다음 표에서는 테스트 사례 작성 상태 및 자동화 디자인 상태 보고서를 생성하는 피벗 테이블 보고서에 사용되는 보고서 필터 및 필드에 대해 설명합니다.

필터	필드
팀 프로젝트 - 팀 프로젝트 계층 구조: 선택한 팀 프로젝트에 대해 정의된 작업 항목을 포함합니다. 작업 항목 - 작업 항목.반복 계층 구조: 선택한 반복 경로에 할당되는 작업 항목을 포함합니다. 작업 항목 - 작업 항목.영역 계층 구조: 선택한 제품 영역에 할당되는 작업 항목을 포함합니다. 작업 항목 - 작업 항목.작업 항목 형식: 선택한 작업 항목만 포함합니다.이러한 보고서의 경우 테스트 사례가 선택됩니다.	(측정) 작업 항목 - 작업 항목 수: 작업 항목의 수입니다.보고서에서 이 필드를 사용하여 지정된 상태에 있는 모든 작업 항목의 수를 계산합니다. 날짜 - 설정 - 최근 6주: 보고할 작업의 시간 범위입니다. 테스트 사례 작성 상태 보고서에만 사용되는 필드: 작업 항목 - 상태: 테스트 사례의 상태입니다.보고서에서 이 필드를 사용하여 열 레이블을 정의하고 디자인 및 준비를 포함하도록 테스트 사례를 필터링합니다. 자동화 디자인 상태 보고서에만 사용되는 필드: 작업 항목 - Microsoft.VSTS.TCM - 자동화: 테스트 사례의 자동화 상태입니다.보고서에서 이 필드를 사용하여 열 레이블을 자동화됨 및 자동화되지 않음으로 정의합니다.

팀 프로젝트 - 팀 프로젝트 계층 구조: 선택한 팀 프로젝트에 대해 정의된 작업 항목을 포함합니다.
작업 항목 - 작업 항목.반복 계층 구조: 선택한 반복 경로에 할당되는 작업 항목을 포함합니다.
작업 항목 - 작업 항목.영역 계층 구조: 선택한 제품 영역에 할당되는 작업 항목을 포함합니다.
작업 항목 - 작업 항목.작업 항목 형식: 선택한 작업 항목만 포함합니다.이러한 보고서의 경우 테스트 사례가 선택됩니다.

(측정) 작업 항목 - 작업 항목 수: 작업 항목의 수입니다.보고서에서 이 필드를 사용하여 지정된 상태에 있는 모든 작업 항목의 수를 계산합니다.
날짜 - 설정 - 최근 6주: 보고할 작업의 시간 범위입니다.

테스트 사례 작성 상태 보고서에만 사용되는 필드:

작업 항목 - 상태: 테스트 사례의 상태입니다.보고서에서 이 필드를 사용하여 열 레이블을 정의하고 디자인 및 준비를 포함하도록 테스트 사례를 필터링합니다.

자동화 디자인 상태 보고서에만 사용되는 필드:

작업 항목 - Microsoft.VSTS.TCM - 자동화: 테스트 사례의 자동화 상태입니다.보고서에서 이 필드를 사용하여 열 레이블을 자동화됨 및 자동화되지 않음으로 정의합니다.

테스트 계획 진행률

테스트 계획 진행률 보고서에서는 모든 테스트 사례의 테스트 결과에 대한 누적 영역형 그래프를 제공합니다.이 보고서에는 테스트 결과가 가장 최근에 기록된 결과로 그룹화되고 최근 4주 동안의 데이터가 표시됩니다.결과에는 실행 안 함, 차단됨, 실패 또는 성공이 포함됩니다.

테스트 계획 진행률 보고서

팀에서는 이 보고서를 검토하여 스프린트, 반복 또는 시간별 진행률을 확인할 수 있습니다.예를 들어 다음과 같은 질문에 대한 답을 얻을 수 있습니다.

팀에서 완료한 테스트는 얼마나 됩니까?
팀에서 테스트를 제 시간 내에 완료할 가능성이 높습니까?
실행할 테스트가 몇 개 남아 있습니까?
통과하는 테스트는 몇 개입니까?
실패하는 테스트는 몇 개입니까?
차단된 테스트는 몇 개입니까?

테스트 도구 모음 또는 제품 영역별 테스트 결과

도구 모음별 테스트 상태 및 영역별 테스트 상태 보고서에는 기록된 결과를 기반으로 모든 테스트 사례에 대해 수집된 모든 테스트 결과의 수가 표시됩니다.이 보고서에는 테스트 결과가 테스트 도구 모음 또는 제품 영역별로 그룹화됩니다.테스트 결과에는 실행 안 함, 차단됨, 실패 또는 성공이 포함됩니다.

팀에서는 이러한 보고서를 사용하여 실패 수가 많은 테스트 결과 또는 실행되지 않은 테스트 사례를 포함하는 테스트 도구 모음이나 제품 영역을 확인할 수 있습니다.

재발 테스트

테스트 팀에서는 실패 분석 보고서를 사용하여 테스트 팀에서 발견하는 재발의 수를 모니터링할 수 있습니다.재발은 테스트하는 소프트웨어의 이전 버전에서는 나타나지 않은 버그입니다.재발 테스트를 수행하는 팀은 특히 소프트웨어의 새 버전에서만 나타나는 버그를 찾는 데 초점을 맞춥니다.

실패 분석 보고서에서는 실패한 모든 테스트 결과의 누적 개수를 보여 주는 누적 영역형 그래프를 제공합니다.이 보고서에는 결과가 모든 테스트 사례 및 테스트 구성에 대한 실패 유형별로 그룹화되고 최근 6주 동안의 결과가 표시됩니다.실패 유형에는 재발, 없음, 새 문제 및 알려진 문제가 포함됩니다.

실패 분석 Excel 보고서

시스템은 테스트 사례가 실행된 각 테스트 구성을 검사하고 해당 테스트 사례에 대해 같은 구성의 선행 작업 결과를 식별하려고 합니다.테스트 사례/구성에 할당되는 실패 유형은 다음과 같은 기준에 따라 결정됩니다.

재발: 바로 이전 선행 작업의 결과가 성공인 경우
없음: 바로 이전 선행 작업의 결과가 성공 또는 실패가 아닌 경우
새 문제: 바로 이전 선행 작업의 결과를 찾을 수 없는 경우
알려진 문제: 바로 이전 선행 작업의 결과가 실패인 경우

팀에서 보고서를 검토하여 다음 질문에 대한 답을 얻을 수 있습니다.

전체적으로 재발하는 테스트는 몇 개입니까?
전체 재발 또는 테스트 실패 수가 팀의 예상 범위 또는 목표 내에서 유지되고 있습니까?
식별된 문제를 팀에서 처리하고 있습니까?알려진 문제가 적시에 처리되었습니까?

정상적인 실패 분석 보고서에는 적당한 수의 새 문제, 알려진 문제 및 재발이 표시됩니다.이러한 영역 중 하나 이상에서 스파이크가 발생하면 팀에서 이 문제를 더 조사해야 할 수도 있습니다.스파이크는 팀에서 체크 인하는 코드의 품질 또는 테스트 작업에 문제가 있음을 나타낼 수 있습니다.또한 팀에서 최근 빌드의 상태, 버그 상태 및 코드 변동(code churn)을 검사하여 이러한 각 요인의 메트릭이 테스트 작업의 변경을 설명하는 데 유용한지 여부를 확인할 수도 있습니다.

보고서 필터 및 필드

다음 표에서는 테스트 계획 진행률, 도구 모음 또는 영역별 테스트 상태 및 실패 분석 보고서를 생성하는 피벗 테이블에 사용되는 보고서 필터와 필드에 대해 설명합니다.

필터	필드
팀 프로젝트 - 팀 프로젝트 계층 구조: 선택한 팀 프로젝트에 대해 수집된 테스트 결과를 포함합니다. 테스트 결과 - 반복 계층 구조: 선택한 반복에 할당되는 테스트 사례에서 실행된 테스트 결과를 포함합니다. 테스트 계획 - 테스트 계획 이름: 선택한 테스트 계획에 속하는 테스트 사례에서 실행된 테스트 결과를 포함합니다. 테스트 계획 진행률 보고서에만 사용되는 필터: 테스트 결과 - 영역 계층 구조: 선택한 제품 영역에 할당되는 테스트 사례에서 실행된 테스트 결과를 포함합니다. 테스트 도구 모음 - 테스트 도구 모음 계층 구조: 선택한 테스트 도구 모음에 속하는 테스트 사례에서 실행된 테스트 결과를 포함합니다. 도구 모음별 테스트 상태 보고서에만 사용되는 필터: 테스트 결과 - 영역 계층 구조: 선택한 제품 영역에 할당되는 테스트 사례에서 실행된 테스트 결과를 포함합니다. 실패 분석 보고서에만 사용되는 필터: 테스트 결과 - 영역 계층 구조: 선택한 제품 영역에 할당되는 테스트 사례에서 실행된 테스트 결과를 포함합니다. 테스트 도구 모음 - 테스트 도구 모음 계층 구조: 선택한 테스트 도구 모음에 속하는 테스트 사례에서 실행된 테스트 결과를 포함합니다. 테스트 결과 - 결과: 선택한 결과가 있는 테스트 결과를 포함합니다.보고서에서 이 필드를 사용하여 결과가 실패인 테스트 결과만 포함하도록 테스트 결과의 수를 필터링합니다.	테스트 결과 - 결과: 테스트의 결과입니다.보고서에서 이 필드를 사용하여 열 레이블을 정의하고 성공, 실패, 차단됨 또는 실행 안 함을 포함하도록 테스트 결과를 필터링합니다. (측정) 테스트 - 점 개수 추세: 특정 빌드에서 각 테스트 결과의 최신 버전을 계산합니다.빌드에 대해 테스트가 여러 번 실행된 경우 점 개수 추세는 빌드를 사용하는 해당 테스트의 최신 결과를 계산합니다.빌드에 포함되지 않은 테스트 사례는 "실행 안 함"으로 계산됩니다. 테스트 계획 진행률 보고서에만 사용되는 필드: 날짜 - 설정 - 최근 6주: 보고할 작업의 시간 범위입니다. 도구 모음별 테스트 상태 보고서에만 사용되는 필드: 테스트 도구 모음 - 테스트 도구 모음 계층 구조: 보고서에 나열할 테스트 도구 모음입니다. 영역별 테스트 상태 보고서에만 사용되는 필드: 테스트 결과 - 영역 계층 구조: 실행된 테스트 사례에 할당된 영역 경로를 기반으로 하는 보고서에 포함할 테스트 결과 집합입니다. 실패 분석 보고서에만 사용되는 필드: 테스트 결과 - 오류 유형: 보고서에서 이 필드를 사용하여 보고서의 열을 빌드합니다. 날짜 - 설정 - 최근 6주: 보고할 작업의 시간 범위입니다.

팀 프로젝트 - 팀 프로젝트 계층 구조: 선택한 팀 프로젝트에 대해 수집된 테스트 결과를 포함합니다.
테스트 결과 - 반복 계층 구조: 선택한 반복에 할당되는 테스트 사례에서 실행된 테스트 결과를 포함합니다.
테스트 계획 - 테스트 계획 이름: 선택한 테스트 계획에 속하는 테스트 사례에서 실행된 테스트 결과를 포함합니다.

테스트 계획 진행률 보고서에만 사용되는 필터:

테스트 결과 - 영역 계층 구조: 선택한 제품 영역에 할당되는 테스트 사례에서 실행된 테스트 결과를 포함합니다.
테스트 도구 모음 - 테스트 도구 모음 계층 구조: 선택한 테스트 도구 모음에 속하는 테스트 사례에서 실행된 테스트 결과를 포함합니다.

도구 모음별 테스트 상태 보고서에만 사용되는 필터:

테스트 결과 - 영역 계층 구조: 선택한 제품 영역에 할당되는 테스트 사례에서 실행된 테스트 결과를 포함합니다.

실패 분석 보고서에만 사용되는 필터:

테스트 결과 - 영역 계층 구조: 선택한 제품 영역에 할당되는 테스트 사례에서 실행된 테스트 결과를 포함합니다.
테스트 도구 모음 - 테스트 도구 모음 계층 구조: 선택한 테스트 도구 모음에 속하는 테스트 사례에서 실행된 테스트 결과를 포함합니다.
테스트 결과 - 결과: 선택한 결과가 있는 테스트 결과를 포함합니다.보고서에서 이 필드를 사용하여 결과가 실패인 테스트 결과만 포함하도록 테스트 결과의 수를 필터링합니다.

테스트 결과 - 결과: 테스트의 결과입니다.보고서에서 이 필드를 사용하여 열 레이블을 정의하고 성공, 실패, 차단됨 또는 실행 안 함을 포함하도록 테스트 결과를 필터링합니다.
(측정) 테스트 - 점 개수 추세: 특정 빌드에서 각 테스트 결과의 최신 버전을 계산합니다.빌드에 대해 테스트가 여러 번 실행된 경우 점 개수 추세는 빌드를 사용하는 해당 테스트의 최신 결과를 계산합니다.빌드에 포함되지 않은 테스트 사례는 "실행 안 함"으로 계산됩니다.

테스트 계획 진행률 보고서에만 사용되는 필드:

날짜 - 설정 - 최근 6주: 보고할 작업의 시간 범위입니다.

도구 모음별 테스트 상태 보고서에만 사용되는 필드:

테스트 도구 모음 - 테스트 도구 모음 계층 구조: 보고서에 나열할 테스트 도구 모음입니다.

영역별 테스트 상태 보고서에만 사용되는 필드:

테스트 결과 - 영역 계층 구조: 실행된 테스트 사례에 할당된 영역 경로를 기반으로 하는 보고서에 포함할 테스트 결과 집합입니다.

실패 분석 보고서에만 사용되는 필드:

테스트 결과 - 오류 유형: 보고서에서 이 필드를 사용하여 보고서의 열을 빌드합니다.
날짜 - 설정 - 최근 6주: 보고할 작업의 시간 범위입니다.

테스트 팀 진행률 모니터링에 필요한 작업

테스트 팀 진행률 보고서의 유용성과 정확도를 높이려면 팀에서 다음과 같은 작업을 수행해야 합니다.

테스트 사례 및 테스트 계획을 정의하고 테스트 사례를 테스트 계획에 할당합니다.자세한 내용은 테스트 계획 정의를 참조하십시오.
테스트를 실행합니다.자세한 내용은 Microsoft Test Manager에서 테스트 실행을 참조하십시오.

수동 테스트의 경우 테스트 사례에서 각 유효성 검사 단계의 결과를 성공 또는 실패로 표시합니다.

중요
테스터는 유효성 검사 테스트 단계를 수행하는 경우 테스트 단계의 상태를 표시해야 합니다.테스트 사례의 전체 결과는 테스터가 표시한 모든 테스트 단계의 상태를 반영합니다.따라서 테스터가 테스트 단계를 실패로 표시했거나 아무 것도 표시하지 않은 경우에는 테스트 사례의 상태가 실패로 설정됩니다.

테스터는 유효성 검사 테스트 단계를 수행하는 경우 테스트 단계의 상태를 표시해야 합니다.테스트 사례의 전체 결과는 테스터가 표시한 모든 테스트 단계의 상태를 반영합니다.따라서 테스터가 테스트 단계를 실패로 표시했거나 아무 것도 표시하지 않은 경우에는 테스트 사례의 상태가 실패로 설정됩니다.

자동화된 테스트의 경우 각 테스트 사례가 자동으로 성공 또는 실패로 표시됩니다.

(선택 사항) 제품 영역 및 반복별로 보고서를 필터링하려면 각 테스트 사례의 영역 및 반복 경로를 지정합니다.

테스트 간격 보고서에 유용하고 정확한 정보를 나타내려면 팀에서 다음 표에 설명된 대로 작업을 수행해야 합니다.

워크시트 보고서	필요한 작업
테스트 사례 작성 상태 자동화 디자인 상태	테스트 사례를 정의하고 상태를 디자인에서 준비로 업데이트합니다.
자동화 디자인 상태	테스트 사례를 자동화합니다.자세한 내용은 Microsoft Test Manager를 사용하여 자동화된 테스트 만들기를 참조하십시오.
테스트 계획 진행률 도구 모음별 테스트 상태 영역별 테스트 상태 실패 분석	테스트 계획 및 테스트 도구 모음을 정의하고 테스트 사례를 테스트 계획 및 테스트 도구 모음에 할당합니다.자세한 내용은 테스트 계획 정의 및 테스트 도구 모음을 사용하여 테스트 사례 구성을 참조하십시오. 테스트를 실행하고, 수동 테스트의 경우 테스트 사례의 각 유효성 검사 단계 결과를 성공 또는 실패로 표시합니다.자세한 내용은 Microsoft Test Manager에서 테스트 실행을 참조하십시오.
테스트 사례 작성 상태 자동화 디자인 상태 테스트 계획 진행률 도구 모음별 테스트 상태 영역별 테스트 상태 실패 분석	(선택 사항) 필터링을 지원하려면 반복 및 영역 경로를 각 테스트 사례에 할당합니다.테스트 결과 - 반복 계층 구조 및 테스트 결과 - 영역 계층 구조 필드는 해당 테스트 사례에 할당된 반복 및 영역 경로에서 값을 가져옵니다.

보고서 업데이트 및 사용자 지정

Office Excel에서 테스트 팀 진행률 보고서를 열고 워크시트 중 하나에 대해 피벗 테이블 보고서의 필터 옵션을 변경하면 이 보고서를 업데이트할 수 있습니다.다음 표의 설명에 따라 다른 뷰를 지원하도록 각 보고서를 사용자 지정할 수 있습니다.

보기	동작
반복에 대한 작성 및 자동화 상태 반복에 대한 테스트 계획 진행률 및 테스트 결과 반복에 대한 재발 테스트	Iteration의 필터 변경(기본값=모두)
제품 영역에 대한 작성 및 자동화 상태 제품 영역에 대한 테스트 계획 진행률 및 테스트 결과 제품 영역에 대한 재발 테스트	Area의 필터 변경(기본값=모두)
선택한 테스트 계획에 대한 테스트 계획 진행률 및 테스트 결과 선택한 테스트 계획에 대한 재발 테스트 선택한 테스트 계획에 대한 실패 분석	Test Plan의 필터 변경(기본값=모두)
가장 최근 8주, 10주 또는 그 이상에 대한 작성 및 자동화 상태 가장 최근 8주, 10주 또는 그 이상에 대한 테스트 계획 진행률 가장 최근 8주, 10주 또는 그 이상에 대한 반복 실패 분석의 재발 테스트	피벗 테이블 필드 목록 열에서 @@Last 6 weeks@@를 다른 Set로 바꿉니다.