오류 분석 Excel 보고서

아티클
02/21/2013

실패 분석 보고서를 사용하면 테스트 팀에서 발견하는 재발의 수를 모니터링할 수 있습니다.재발은 테스트 중인 소프트웨어의 이전 버전에서는 나타나지 않은 버그입니다.재발 테스트를 수행하는 팀은 특히 소프트웨어의 새 버전에서만 나타나는 버그를 찾는 데 초점을 맞춥니다.실패 분석 보고서에는 가장 최근 4주를 기준으로 이전에는 통과했지만 지금은 실패한 각 테스트 사례에 대한 고유 구성의 수가 표시됩니다.

이 보고서는 팀에서 테스트 계획을 만들고 Microsoft Test Manager를 사용하여 테스트 실행을 시작하는 경우에만 사용할 수 있습니다.테스트 도구 모음 및 테스트 계획을 정의하는 방법에 대한 자세한 내용은 테스트 계획 정의을 참조하십시오. 이 보고서에 액세스하는 방법에 대한 자세한 내용은 Excel 보고서(Agile)를 참조하십시오.

[!참고]

테스트 대시보드에서 실패 분석 보고서를 볼 수 있습니다.팀 프로젝트 포털이 사용하도록 설정되어 있고 Microsoft Office SharePoint Server 2007을 사용하도록 프로비전된 경우에만 이 대시보드에 액세스할 수 있습니다.자세한 내용은 팀 프로젝트 포털 또는 프로세스 지침 액세스를 참조하십시오.

항목 내용

보고서의 데이터
보고서 해석
보고서 업데이트 및 사용자 지정

관련 항목

[!참고]

팀에서는 테스트 사례를 사용하여 Test Runner 및 Microsoft Test Manager를 통해 실행하고 관리할 수 있는 수동 테스트와 자동화된 테스트를 모두 정의합니다.Microsoft Test Manager를 사용하여 테스트 사례뿐만 아니라 프로젝트 테스트를 지원하는 테스트 도구 모음 및 테스트 구성도 만들 수 있습니다.테스트 구성을 사용하여 테스트 사례 및 테스트 도구 모음의 실행 방식을 정의할 수 있습니다.테스트 계획에서 테스트 도구 모음의 계층 구조로 구성하여 테스트 사례를 그룹화할 수 있습니다.테스트 도구 모음을 만들어 테스트 사례 집합을 그룹으로 실행할 수 있습니다.자세한 내용은 테스트 계획 정의를 참조하십시오.

필요한 권한

보고서를 보려면 SharePoint 제품에서 팀 프로젝트에 대한 읽기 권한이 할당된 그룹에 할당되거나 속해야 합니다.

보고서를 수정하거나 사용자 지정하려면 SQL Server Analysis Services에서 TfsWarehouseDataReaders 보안 역할의 멤버여야 합니다.또한 SharePoint 제품에서 팀 프로젝트에 대한 멤버 권한이 할당된 그룹에 할당되거나 속해야 합니다.자세한 내용은 Visual Studio ALM용 데이터 웨어하우스의 데이터베이스에 대한 액세스 부여 및 권한 관리를 참조하십시오.

보고서의 데이터

실패 분석 보고서는 가장 최근 4주 동안 모든 구성에 대해 테스트 사례를 실행하여 실패한 결과의 누적 개수를 보여 주는 누적 영역형 그래프를 제공합니다.실패 유형에는 새 문제, 알려진 문제 또는 재발이 포함됩니다.

실패 분석 Excel 보고서

이 보고서는 데이터 웨어하우스에 저장된 가장 최근 4주 동안의 테스트 결과 데이터를 보여 주는 피벗 차트 보고서를 기반으로 합니다.

시스템은 테스트 사례가 실행된 각 구성을 검사하고 해당 테스트 사례에 대해 같은 구성의 선행 작업 결과를 식별하려고 합니다.테스트 사례/구성에 할당되는 실패 유형은 다음과 같은 기준에 따라 결정됩니다.

재발: 바로 이전 선행 작업의 결과가 성공인 경우
새 문제: 바로 이전 선행 작업의 결과를 찾을 수 없는 경우
알려진 문제: 바로 이전 선행 작업의 결과가 실패인 경우

재발 모니터링에 필요한 활동

유용하고 정확한 실패 분석 보고서를 작성하려면 팀에서 다음과 같은 작업을 수행해야 합니다.

테스트 사례와 테스트 계획을 정의하고 테스트 사례를 테스트 계획에 할당합니다.

수동 테스트의 경우 테스트 사례의 각 유효성 검사 단계 결과를 성공 또는 실패로 표시합니다.

중요
테스터는 유효성 검사 단계를 수행하는 경우 테스트 단계의 상태를 표시해야 합니다.테스트 사례의 전체 결과는 테스터가 표시한 모든 테스트 단계의 상태를 반영합니다.따라서 테스터가 테스트 단계를 실패로 표시했거나 아무 것도 표시하지 않은 경우에는 테스트 사례의 상태가 실패로 설정됩니다.

자동화된 테스트의 경우 각 테스트 사례가 성공 또는 실패로 자동으로 표시됩니다.

(선택 사항) 필터링을 지원하려면 반복 및 영역 경로를 각 테스트 사례에 할당합니다.

보고서 해석

제품 개발 주기에서 어느 시점에 있는지에 따라 실패 분석 보고서가 달라집니다.예를 들어 초기 반복 단계에서는 재발 동작이 있더라도 약간만 나타나야 하고개발 주기의 후반부에서는 일부 재발 동작을 예상해야 합니다.특히 보고서를 검토하여 다음과 같은 질문에 대한 답을 찾아야 합니다.

전체적으로 재발하는 테스트는 몇 개입니까?
전체 재발 또는 테스트 실패 수가 팀의 예상 범위 또는 목표 내에서 유지되고 있습니까?
식별된 문제를 팀에서 처리하고 있습니까?알려진 문제가 적시에 처리되고 있습니까?

정상적인 실패 분석 보고서에는 적당한 수의 새 문제, 알려진 문제 및 재발이 표시됩니다.이러한 영역 중 하나 이상에서 스파이크가 발생하면 팀에서 추가로 조사를 수행해야 할 수도 있습니다.스파이크는 팀에서 체크 인하는 코드의 품질 또는 테스트 작업에서 문제가 있음을 나타낼 수 있습니다.

또한 최근 빌드의 상태, 버그 상태 및 코드 변동(code churn)을 검사하여 이러한 각 요인의 메트릭이 테스트 작업의 변경을 설명하는 데 유용한지 여부를 확인할 수도 있습니다.

보고서 업데이트 및 사용자 지정

Office Excel에서 실패 분석 보고서를 열고 피벗 테이블 보고서의 필터 옵션을 변경하면 실패 분석 보고서를 업데이트할 수 있습니다.또한 다음 표의 설명과 같이 다른 뷰를 지원하도록 이 보고서를 사용자 지정할 수 있습니다.

보기	동작
반복에 대한 실패 분석	Iteration의 필터 변경(기본값=모두)
제품 영역에 대한 실패 분석	Area의 필터 변경(기본값=모두)
특정 테스트 계획 또는 테스트 계획 도구 모음에 대한 실패 분석	Test Plan의 필터 추가(기본값=모두)
가장 최근 6주, 8주 또는 그 이상에 대한 실패 분석	피벗 테이블 필드 목록 열에서 @@Last 4 weeks@@를 다른 Set로 바꿉니다.