다음을 통해 공유

새 테스트 관련 활동 관리

  • 아티클

Visual Studio 2010 Ultimate 또는 Visual Studio Test Professional에서 Microsoft Test Manager의 테스트 센터를 사용하면 선택한 테스트 방법에 따라 테스트 관련 활동을 쉽게 계획할 수 있습니다. Microsoft Test Manager는 팀 프로젝트와 관련된 테스트 계획을 만드는 데 사용할 수 있는 새로운 응용 프로그램입니다. 테스트 계획에서 특정 반복에 대해 실행할 테스트를 정의할 수 있습니다. 또한 테스트를 실행하는 데 사용할 테스트 설정을 지정하는 테스트 구성을 만들 수도 있습니다. 테스트 구성에 대해 실행할 테스트를 정의하고 나면 테스트 실행을 시작하는 즉시 테스트 계획을 사용하여 진행률을 측정할 수 있습니다.

테스트 계획에 대한 테스트 사례를 만들고 이를 수동 테스트와 자동화된 테스트에 모두 사용할 수 있습니다. 수행할 작업과 예상 결과가 모두 포함된 테스트 단계를 추가하여 테스트를 수동으로 실행하는 데 필요한 모든 정보를 추가할 수 있습니다. 또한 공통적인 일반 테스트 단계를 다른 테스트에도 공유하여 수동 테스트 단계를 유지 관리하는 데 따른 부담을 줄일 수 있습니다.

Microsoft Test Manager를 사용하여 이러한 수동 테스트를 실행할 때 사용자가 수행하는 작업에 대한 세부 정보를 로그와 기록 형태로 수집할 수 있습니다. 다음 번에 수동 테스트를 실행할 때 이렇게 수집한 정보를 활용하여 테스트 속도를 향상시킬 수 있습니다. 컴퓨터 화면을 비디오로 캡처하고, 스냅숏을 만들고, 테스트 결과에 주석을 추가할 수 있습니다. 테스트를 실행하면서 기타 진단 정보를 수집하고 이를 테스트 결과의 일부로 저장할 수도 있습니다. 필요한 경우 이러한 테스트를 실행할 때 인위적으로 버그를 발생시키고 버그에 대해 수집한 모든 데이터를 자동으로 추가할 수 있습니다.

Microsoft Visual Studio 2010을 사용하여 여러 가지 종류의 자동화된 테스트를 만들 수 있습니다. 코드의 개별 메서드를 테스트하는 단위 테스트, UI 인터페이스를 테스트하는 코딩된 UI 테스트, API 메서드를 호출하는 제네릭 테스트, 그리고 다양한 스트레스 수준에서 응용 프로그램의 성능을 확인하는 부하 테스트를 만들 수 있습니다. 자동화된 테스트를 테스트 사례에 연결하여 이러한 테스트를 테스트 계획의 일부로 실행할 수 있습니다.

테스트를 실행한 후 진행률에 대해 보고할 수 있습니다. 테스트 계획을 사용하여 테스트 접근 방식을 구조적으로 체계화하면 다음과 같은 질문에 대한 답을 쉽게 구할 수 있습니다.

  • 몇 개의 테스트가 성공 또는 실패했는가?

  • 이 반복에 대해 실행해야 할 테스트가 몇 개나 남았는가?

  • 테스트가 언제 완료될 것으로 예상하는가?

  • 제품에서 테스트 실패율이 높은 영역은 어디인가?

  • 테스트 실패율이 높은 테스트 구성은 무엇인가?

  • 실행해야 할 테스트가 가장 많이 남아 있는 테스터는 누구인가?

  • 나머지 테스트를 원활하게 진행하기 위해 리소스를 다시 할당할 수 있는가?

  • 코드 변경 내용과 버그 수정 내용에 따라 테스터가 사용해야 하는 빌드는 무엇인가?

테스트 전략에 대한 자세한 내용은 초기에 자주 테스트를 참조하십시오.

테스트 사례 관리 시작

소프트웨어를 테스트하려면 우선 테스트 전략을 수립한 다음 테스트를 실행하고 테스트 결과로 발견된 모든 버그를 제출해야 합니다. 그런 다음 진행률을 검토하며 테스트를 다시 실행할지 결정하거나, 버그 수정을 확인하거나, 더 많은 테스트 사례를 추가하거나, 테스트 구성을 추가하거나, 현재 반복에 대해 테스트를 마칠지 여부를 결정할 수 있습니다. 다음 단계는 Microsoft Test Manager를 처음 사용하는 데 유용합니다.

  • 팀 프로젝트에 연결

  • 테스트 관련 활동 계획

  • 테스트 실행

  • 진행률 추적

연결

제일 먼저 Microsoft Test Manager를 사용하여 Team Foundation Server와 자신의 팀 프로젝트에 연결해야 합니다. 이 팀 프로젝트는 응용 프로그램에 대한 요구 사항을 추가하고 소스 코드를 유지 관리하고 테스트 대상 응용 프로그램을 빌드하는 데 사용되는 프로젝트와 동일한 팀 프로젝트입니다. 바로 이 팀 프로젝트에서 테스트 아티팩트를 만들고 관리합니다. 테스트 결과 또한 이 팀 프로젝트에 연결됩니다. 이 프로젝트에 연결하면 테스트를 계획하는 데 사용할 테스트 계획을 해당 프로젝트에서 만들 수 있습니다.

다음 그림에서는 자신의 팀 프로젝트에 연결하는 방법을 보여 줍니다.

팀 프로젝트에 연결

참고

액세스할 권한이 있는 팀 프로젝트만 표시됩니다. 권한에 대한 자세한 내용은 Team Foundation Server 권한을 참조하십시오.

자세한 내용은 방법: Microsoft 테스트 관리자에서 처음으로 팀 프로젝트에 연결을 참조하십시오.

계획

Microsoft Test Manager에서 테스트 계획을 사용하여 테스트 관련 활동을 정의해야 합니다. 이 계획은 프로젝트의 요구 사항에 따라 단순할 수도, 복잡할 수도 있습니다. 이 테스트 계획을 통해 어떤 테스트를 실행할지 선택하고 테스트 진행률을 측정할 수 있습니다.

계획의 일부로 테스트를 실행하는 데 사용할 소프트웨어나 하드웨어를 정의할 테스트 구성을 지정할 수 있습니다. 그런 다음 계획 내에 테스트 도구 모음 계층 구조를 만듭니다. 이는 단순히 모든 테스트 사례를 포함하는 한 개의 테스트 도구 모음일 수도 있고 테스트 사례를 함께 그룹화하여 체계적으로 관리하는 테스트 도구 모음 계층 구조일 수도 있습니다. 팀 프로젝트의 요구 사항이나 사용자 스토리를 기준으로 이 구조를 그룹화할 수 있습니다. 마지막으로, 테스트 도구 모음에 작업 및 유효성 검사 단계가 모두 포함된 수동 테스트 사례를 추가하거나 자동화된 테스트를 추가할 수 있습니다.

다음 그림에서는 테스트 계획에 포함되는 테스트 아티팩트를 보여 줍니다.

테스트 계획의 구성 요소

다음 항목을 참조하면 테스트 관련 활동을 쉽게 계획할 수 있습니다.

작업

관련 항목

테스트 실행을 어떻게 계획할지 정하기 위한 구성 매트릭스 계획: 테스트를 실행하는 데 사용할 소프트웨어나 하드웨어를 정의할 테스트 구성을 만들 수 있습니다. 계획의 기본 구성을 지정하고 해당 구성에 대해 실행할 테스트를 계획할 수 있습니다.

계획 만들기: 테스트에 대한 계획을 만들고 기본 구성으로 사용할 테스트 구성을 추가해야 합니다.

계획에 테스트 도구 모음 및 테스트 사례 추가: 테스트 도구 모음을 만들어 테스트 사례를 함께 그룹화할 수 있습니다. 요구 사항이나 사용자 스토리를 기준으로 테스트 도구 모음을 만들 수 있습니다. 기존 테스트 사례를 선택하거나 새 테스트 사례를 추가하여 도구 모음을 만들 수도 있습니다. 그런 다음 이러한 테스트 사례에 수동 테스트 단계를 추가할 수 있습니다. 자동화된 테스트를 테스트 사례에 연결하여 테스트 계획에서 해당 테스트를 실행할 수도 있습니다.

다른 테스트 계획에서 테스트 도구 모음 가져오기: 기존 테스트 계획의 테스트 도구 모음이 현재 테스트 계획에도 필요한 경우 해당 테스트 계획의 테스트 도구 모음을 가져올 수 있습니다.

테스트를 실행할 사용자 할당: 테스트 계획의 테스트를 팀의 특정 테스터에게 할당할 수 있습니다. 기본적으로 테스트는 테스트 사례의 소유자에게 할당됩니다. 그러나 필요에 따라 이 할당을 변경할 수 있습니다.

테스트에 사용해야 할 설정 계획: 테스트를 실행하는 데 필요할 수 있는 환경과 테스트 설정을 계획할 수 있습니다. 이는 물리적 환경이거나 가상 환경일 수 있습니다.

테스트

계획을 만들었고 테스트할 응용 프로그램의 빌드를 갖췄으면 테스트를 실행할 준비가 완료된 것입니다. 해당 빌드를 테스트에 사용할 빌드로 선택할 수 있습니다. 다음 그림과 같이 테스트 계획에서 만든 테스트 구성 및 테스트 도구 모음의 조합을 실행할 수 있습니다.

다양한 테스트 도구 모음에서 수동 테스트 실행

Test Runner를 사용하여 로컬로 수동 테스트를 실행하고 각 테스트 단계의 결과를 기록할 수 있고 테스트를 실행할 때마다 그 결과를 저장할 수 있습니다.

Microsoft Test Manager를 사용하여 테스트 설정을 지정할 수 있습니다. 이 테스트 설정을 통해 테스트 실행 방법을 결정하고 테스트를 실행하면서 수집할 데이터 및 진단 정보를 선택할 수 있습니다. 데이터와 진단 정보를 로컬로 수집하거나 테스트 환경을 사용하여 원격으로 수집할 수 있습니다. 테스트를 실행할 때 그 결과와 함께 이러한 데이터 및 진단 정보를 저장할 수 있고, 필요한 경우 이를 사용하여 자세한 버그를 만들 수 있습니다.

테스트할 응용 프로그램이 복잡한 경우 환경을 설정하여 사용하는 것이 일반적입니다. 환경은 일련의 역할로 구성됩니다. 역할에 따라 환경에 있는 컴퓨터의 용도가 정해집니다. 예를 들어 '고객 데이터 저장용 웹 사이트'라는 특정 역할을 지정할 수 있습니다.

이러한 환경을 사용하면 각 특정 역할에 대해 컴퓨터에서 테스트를 실행하거나, 데이터를 수집하거나, 시스템 작업을 수행할 수 있습니다. 컴퓨터는 실제 컴퓨터 또는 가상 컴퓨터일 수 있습니다. 예를 들어 한 컴퓨터에서 테스트를 실행하고 사용 중인 응용 프로그램을 위한 웹 서버가 설치된 컴퓨터에 해당하는 시스템 정보를 수집할 수 있습니다. 또는 여러 컴퓨터를 사용하는 환경에서 테스트를 실행하고 해당 컴퓨터에서 테스트 영향 데이터를 수집할 수 있습니다. 그런 다음 응용 프로그램을 위한 웹 클라이언트를 실행하는 컴퓨터에서 네트워크 에뮬레이션을 수행할 수도 있습니다.

다음 그림에는 테스트 계획에서 테스트를 실행하기 위한 테스트 설정을 지정하는 데 사용할 수 있는 방법을 보여 주는 세 가지 예제 시나리오가 나와 있습니다.

테스트 설정 개념

다음 항목을 참조하면 테스트를 쉽게 실행할 수 있습니다.

작업

관련 항목

테스트를 실행하거나 데이터를 수집할 테스트 컴퓨터 설정: 테스트 대상인 응용 프로그램에 필요한 역할을 정의하고 각 역할에 대해 데이터와 진단 정보를 수집하는 방법을 지정하는 테스트 설정을 만들 수 있습니다. 테스트 설정에 지정한 역할이 포함된 물리적 환경이나 가상 환경을 사용하여 테스트를 실행하는 데 사용할 실제 컴퓨터를 할당할 수 있습니다. 물리적 환경과 가상 환경을 만들려면 테스트 컨트롤러가 필요합니다. Visual Studio Lab Management를 사용해서는 가상 환경만 만들 수 있습니다.

테스트 계획에 포함된 수동 테스트 실행: Test Runner를 사용하여 테스트 계획에 포함된 수동 테스트를 실행하고 각 단계의 성공 또는 실패를 기록할 수 있습니다. 테스트를 실행하면서 수집한 모든 데이터와 테스트 결과를 저장할 수 있습니다.

수동 테스트 속도 향상: 수동 테스트를 실행하면서 수행한 UI 작업을 기록할 수 있습니다. 테스트를 다시 실행할 때는 이 작업 기록을 재생하여 버그를 확인하기 위해 수행해야 하는 테스트 단계까지 빨리 감을 수 있습니다.

자동화된 테스트 실행: Microsoft Visual Studio 2010, 팀 빌드 또는 명령줄에서 직접 테스트를 실행할 수 있습니다. Microsoft Visual Studio 2010에서 테스트 사례에 자동화된 테스트를 연결하고 Microsoft Test Manager를 사용하여 테스트 계획의 일부로 해당 테스트 사례를 실행할 수 있습니다. 이렇게 하면 자동화된 테스트의 결과를 수동 테스트와 함께 추적할 수 있습니다.

테스트 결과 분석: 특정 테스트 실행을 기반으로 자동화된 테스트의 결과를 분석할 수 있습니다. 결과에 따라 버그를 정리할 수 있습니다. 코드 검사 결과를 검토하여 응용 프로그램을 가능한 한 많은 부분에 걸쳐 실제로 테스트했는지 확인할 수도 있습니다.

예비 테스트 수행: 특정 테스트 단계를 포함하지 않고 몇 가지 예비 테스트만 실행하려는 경우 예비 단계 하나만 포함된 테스트 사례를 만들면 됩니다. 그런 다음 이 테스트 사례를 기반으로 삼아 응용 프로그램의 기능을 살펴보고 테스트 대상에 대한 기록을 작업 로그와 비디오 녹화로 보관할 수 있습니다. 예비 버그를 기록한 다음 경과된 시간에 따라 이 버그에서 사용할 작업 로그의 특정 섹션을 선택할 수도 있습니다.

추적

이제 테스트 계획에 정의해 둔 테스트 관련 활동을 추적할 수 있습니다. 계획과 관련된 빌드가 더 있는지 확인할 수 있고 코드 변경 내용을 기준으로 해당 빌드에 대해 어떤 테스트를 실행하는 것이 좋은지 살펴볼 수 있습니다. 표준 보고서를 실행하거나 직접 사용자 지정한 쿼리를 실행하여 테스트 대상 응용 프로그램의 품질을 추적할 수 있습니다.

다음 항목을 참조하면 테스트 관련 활동을 쉽게 추적할 수 있습니다.

주요 작업

관련 항목

테스트 진행률을 추적하는 데 도움이 되는 보고서 검토: 보고서를 통해 테스트 사례 준비 상황과 테스트 계획에 대한 테스트 진행률을 살펴볼 수 있습니다.

코드 변경 내용을 기준으로 다시 실행할 테스트 결정: 각 빌드를 비교하고 테스트 대상 응용 프로그램의 변경 내용을 기준으로 어떤 테스트를 다시 실행하는 것이 좋을지 확인할 수 있습니다.

버그 심사: 버그를 검토하고 버그에 대해 수행할 다음 단계를 결정할 수 있습니다. 필요한 경우 버그를 다시 할당할 수도 있습니다.

보고를 위해 표준 쿼리 및 사용자 지정 쿼리 사용: 기존 쿼리를 사용하여 테스트 사례 및 버그에 대한 보고서를 작성할 수 있습니다. 또는 보고를 위한 쿼리를 직접 사용자 지정하여 만들 수도 있습니다.

참고 항목

개념

응용 프로그램 테스트