방법: 응용 프로그램을 빌드한 후 예약된 테스트 구성 및 실행
빌드를 완료한 후 테스트를 실행하여 빌드 품질을 평가할 수 있습니다. 이러한 테스트를 BVT(빌드 확인 테스트) 또는 스모크 테스트라고도 합니다. 이러한 테스트는 대개 응용 프로그램의 특정 빌드에서 주요 영역을 확인하는 데 사용되는 다양한 테스트 도구 모음으로 이루어집니다. BVT에서 모든 테스트가 통과된 경우 빌드는 성공으로 간주됩니다.
하나 이상의 자동화된 테스트 형식을 빌드 확인 테스트의 일부로 사용할 수 있습니다. 실행할 수 있는 테스트 형식은 다음과 같습니다.
단위 테스트
데이터베이스 단위 테스트
코딩된 UI 테스트
웹 성능 테스트
부하 테스트
제네릭 테스트
BVT를 만드는 데는 Visual Studio, Team Foundation 버전 제어 및 Team Foundation Build가 사용됩니다. 제일 먼저 Visual Studio에서 BVT에 사용할 테스트에 테스트 범주를 할당합니다. 그런 다음 Team Foundation 버전 제어를 사용하여 테스트 범주가 표시된 자동화된 테스트를 소스 제어에 체크 인합니다. 빌드 정의에 테스트 범주 필터를 추가합니다. 마지막으로, Team Foundation Build를 사용하여 빌드를 큐에 대기시킵니다. 빌드를 성공적으로 완료하면 테스트가 실행됩니다.
참고
클라이언트 컴퓨터에 팀 탐색기가 설치되어 있어야 하며 Visual Studio 사용자 세션이 Team Foundation Server 컴퓨터에 연결되어 있어야 합니다. Team Foundation Server에 연결하는 방법에 대한 자세한 내용은 How to: Connect to a Team Project in Team Foundation Server을 참조하십시오.
이 항목에서는 빌드 확인 테스트를 만들고 실행하는 데 필요한 모든 절차를 설명합니다.
BVT의 테스트 범주 만들기
빌드 확인 테스트 체크 인
빌드 정의 만들기
빌드와 테스트 에이전트의 컴퓨터 또는 사용자 계정을 TeamTestControllerUsers 그룹에 추가
코딩된 UI 테스트를 실행할 에이전트 설정
BVT 빌드 정의 실행
참고
테스트 목록을 사용하여 빌드 확인 테스트를 실행할 수도 있지만 테스트 목록이 필요한 체크 인 정책을 만들어야 하는 경우가 아니라면 이전 버전의 Microsoft Visual Studio 2010에서 제공하는 테스트 목록 기능보다 테스트 범주를 사용하는 것이 더 좋습니다. 테스트 목록을 만드는 방법에 대한 자세한 내용은 방법: 테스트 목록 만들기를 참조하십시오.
BVT의 테스트 범주 만들기
&(AND), |(OR) 및 !(NOT) 논리 연산자를 사용하여 필터를 만들어 테스트에 할당된 범주를 기준으로 어떤 테스트를 실행할지 선택할 수 있습니다. 빌드 정의에 사용할 수 있는 테스트 범주를 여러 개 만들어 테스트를 선택하는 데 있어 유연성을 발휘할 수도 있습니다.
테스트 메서드의 테스트 범주를 만들려면
테스트 메뉴에서 창을 클릭하고 테스트 뷰를 선택합니다.
테스트 뷰 창이 나타납니다.
테스트를 선택합니다.
선택한 테스트의 속성 창에서 테스트 범주 열에 있는 줄임표(…)를 클릭합니다. 테스트 범주 창이 표시됩니다.
새 테스트 범주의 이름을 새 범주 추가 필드에 입력합니다.
추가를 클릭합니다.
확인을 클릭합니다. 새 테스트 범주가 테스트에 할당됩니다. 테스트 뷰 창에 있는 다른 테스트에도 이 범주를 할당할 수 있습니다.
다른 테스트 범주를 추가로 만들려면 4-6단계를 반복합니다.
테스트 메서드에 특성을 추가하여 테스트 범주를 할당하는 방법에 대한 자세한 내용은 방법: 테스트 범주를 사용하여 자동화된 테스트 그룹화 및 실행을 참조하십시오.
빌드 확인 테스트 체크 인
이 절차에서는 솔루션의 모든 파일을 체크 인합니다. 여기에는 테스트 메서드에 추가한 테스트 범주가 포함됩니다.
빌드 확인 테스트를 소스 제어에 체크 인하려면
Team Foundation Server 컴퓨터에 연결합니다. 자세한 내용은 How to: Connect to a Team Project in Team Foundation Server을 참조하십시오.
솔루션이 소스 제어에 없는 경우 소스 제어에 솔루션을 추가합니다. 자세한 내용은 파일을 버전 제어에 추가를 참조하십시오.
보기를 클릭한 다음 보류 중인 체크 인을 클릭합니다. 보류 중인 체크 인 창이 나타납니다.
솔루션의 모든 파일을 체크 인합니다. 자세한 내용은 보류 중인 변경 내용 체크 인을 참조하십시오.
참고
BVT를 만들고 관리하는 방식을 관장할 특정 팀 프로세스가 필요할 수 있습니다. 예를 들어 코드 및 코드를 대상으로 실행할 테스트를 체크 인하기 전에 프로세스에 따라 로컬로 빌드를 확인해야 할 수도 있습니다.
체크 인 작업을 완료한 후에 자물쇠 아이콘이 솔루션 탐색기의 각 파일 옆에 표시되어 체크 인 상태를 나타냅니다. 자세한 내용은 How to: Identify Version Control Item Status in Solution Explorer을 참조하십시오.
체크 인한 테스트를 빌드에 사용할 수 있습니다. 이제 BVT에서 실행할 테스트가 포함된 빌드 정의를 만들 수 있습니다.
빌드 정의 만들기
BVT 빌드 정의를 만들려면
팀 탐색기에서 팀 프로젝트를 클릭합니다.
빌드를 마우스 오른쪽 단추로 클릭한 다음 새 빌드 정의를 클릭합니다.
새 빌드 정의 탭이 나타납니다.
새 빌드 정의에 관련된 정보를 입력합니다. 자세한 내용은 기본 빌드 정의 만들기를 참조하십시오.
빌드 정의 이름 텍스트 상자에 빌드 정의와 연결된 이름을 지정합니다.
(선택 사항) 설명에 적절한 설명을 추가합니다.
작업 영역을 클릭합니다.
작업 폴더 테이블에는 새 빌드 정의를 만들 팀 프로젝트의 소스 제어 폴더와 빌드 에이전트의 로컬 폴더가 포함됩니다. 빌드 에이전트의 로컬 폴더는 로컬 폴더 열에 나열됩니다. 빌드 에이전트의 모든 작업 영역 경로는 표시된 기본 루트 디렉터리와 상대적으로 매핑됩니다.
작업 폴더 목록에 기존 작업 영역을 복사하려면 기존 작업 영역 복사를 클릭하여 복사할 작업 영역 선택 대화 상자를 엽니다.
선택한 작업 영역은 빌드 에이전트에서 공통 루트 디렉터리인 $(SourceDir)로 정규화됩니다. 여기서 SourceDir은 $(BuildDir)\Sources로 확장되는 환경 변수입니다.
소스 제어 폴더의 빈 테이블 셀을 클릭한 다음 줄임표(…)를 클릭하고 작업 폴더로 추가할 소스 제어 폴더를 찾을 수도 있습니다. 선택하는 소스 제어 폴더도 빌드 에이전트에서 공용 루트 디렉터리로 정규화됩니다.
빌드 기본값을 클릭합니다.
빌드 기본값 창의 빌드 컨트롤러 드롭다운 목록에 빌드 컨트롤러가 있으면 이를 선택할 수 있습니다. <ui>관리</ui>를 클릭하여 <ui>빌드 컨트롤러 관리</ui> 대화 상자를 열 수도 있습니다.
다음 저장 폴더에 빌드 출력 복사에 (\\server\share) 위치와 같은 UNC 경로를 입력합니다. 빌드가 완료되는 즉시 빌드된 이진 파일 및 로그 파일이 이 폴더에 배치됩니다. 저장 폴더를 설정하는 방법에 대한 자세한 내용은 저장 폴더 설정을 참조하십시오.
코딩된 UI 테스트, 웹 성능 테스트 또는 부하 테스트를 빌드 정의의 일부로 실행하려면 이 위치에 있는 빌드 출력을 사용하여 응용 프로그램을 시작하거나 설치해야 합니다. 빌드를 완료한 후 테스트를 실행하기 전에 응용 프로그램을 자동으로 설치하려면 응용 프로그램을 가상 환경에 배포할 수 있는 랩 기본 템플릿을 사용하거나 응용 프로그램을 물리적 환경에 배포하도록 이 랩 기본 템플릿을 수정합니다.
참고
이 단계를 완료하기 전에 공용 폴더를 만들고 이 폴더에 대한 모든 권한을 TFSService 계정에 부여해야 합니다. Team Foundation 서비스 계정에 대한 자세한 내용은 Team Foundation Server 서비스 보기를 참조하십시오.
프로세스를 클릭합니다.
필수 섹션에서 빌드할 항목을 클릭합니다. 그런 다음 줄임표(…)를 클릭합니다.
빌드할 항목 대화 상자가 나타납니다.
추가를 클릭합니다. 버전 제어 트리에서 빌드할 솔루션이나 프로젝트를 찾은 다음 확인을 클릭합니다.
빌드할 항목 대화 상자에서 확인을 클릭합니다.
빌드가 완료되었을 때 실행할 테스트의 테스트 범주를 추가하려면 기본 섹션을 엽니다. 자동화된 테스트 섹션에서 테스트 어셈블리를 열고 범주 필터를 클릭합니다. 테스트 범주를 기준으로 테스트 메서드를 선택하는 데 필요한 필터를 입력합니다.
참고
테스트 범주 필터는 하나 이상의 테스트 범주 이름으로 구성되며 각 이름을 구분하는 데는 '&', '|', '!', '&!' 등의 논리 연산자가 사용됩니다. 예를 들어 ShoppingCart&SmokeTest를 필터로 사용하면 테스트 범주가 ShoppingCart 및 SmokeTest인 모든 테스트가 실행됩니다. 또는 SmokeTest를 입력하여 이 범주 하나에 속한 모든 테스트를 선택할 수도 있습니다. 테스트 범주 필터를 만드는 데 '&' 및 '|' 논리 연산자를 함께 사용할 수 없습니다.
테스트 어셈블리를 찾기 위한 검색 패턴을 지정하려면 테스트 어셈블리 파일 사양을 클릭합니다. 검색 문자열을 입력합니다. 예를 들어 모든 dll의 이름에 "test"라는 단어가 포함되어 있으면 **\*test*.dll을 입력합니다.
참고
이 검색 문자열을 사용하면 디렉터리를 반복 검색하여 이진 파일 디렉터리에서 *test*.dll에 일치하는 dll을 모두 찾을 수 있습니다. 자세한 내용은 빌드 프로세스 정의을 참조하십시오.
(선택 사항) 테스트를 실행할 때 사용할 테스트 설정 파일을 선택하려면 자동화된 테스트를 열고 테스트 어셈블리를 열고 테스트 설정 파일을 클릭하고 줄임표(…)를 클릭합니다.
찾아보기 대화 상자가 나타납니다. 사용할 테스트 설정이 포함된 테스트 설정 파일을 찾은 다음 확인을 클릭합니다.
테스트 설정 파일에 테스트 컨트롤러와 테스트 에이전트가 사용되는 경우 빌드와 테스트 에이전트의 컴퓨터 또는 사용자 계정을 TeamTestControllerUsers 그룹에 추가 절차를 참조하십시오.
코딩된 UI 테스트를 실행하는 경우 코딩된 UI 테스트를 실행할 에이전트 설정 절차를 참조하여 테스트 설정 파일을 기준으로 에이전트를 설정하십시오.
참고
고급 섹션의 에이전트 설정을 사용하여 필요한 특정 에이전트를 선택할 수 있습니다. 예를 들어 코딩된 UI 테스트를 실행할 때 대화형 프로세스로 실행할 에이전트를 선택해야 하는 경우 여기에서 해당 에이전트를 선택할 수 있습니다.
테스트 설정 파일에 대한 자세한 내용은 Visual Studio에서 자동화된 테스트를 실행하기 위한 테스트 설정 만들기를 참조하십시오.
참고
기본 테스트 설정 파일에는 두 가지가 있습니다. Local.testsettings는 기본적으로 시스템 정보만 수집합니다. IntelliTrace 데이터도 수집하고 변경된 빌드에 따라 어떤 테스트를 실행해야 할지 확인하는 데 사용할 테스트 영향 분석 데이터도 수집하려면 TraceAndTestImpact.testsettings라는 테스트 설정 파일을 선택해야 합니다.
(선택 사항) 빌드 프로세스의 일부로 부하 테스트를 실행하려면 부하 테스트 결과 리포지토리를 설정하고 테스트 설정에 지정된 테스트 컨트롤러가 해당 리포지토리를 사용하도록 구성해야 합니다. 자세한 내용은 방법: 부하 테스트 결과 리포지토리 선택을 참조하십시오.
새 빌드 정의를 저장하려면 저장을 클릭합니다.
새 빌드 정의가 빌드 폴더 아래의 팀 탐색기 창에 나타납니다.
참고
빌드가 완료되었을 때 테스트 범주 대신 실행할 테스트 목록을 추가해야 하는 경우 명령줄 인수를 추가하여 필요한 결과를 얻을 수 있습니다. 명령줄 인수에 대한 자세한 내용은 명령줄에서 자동화된 테스트 실행을 참조하십시오.
빌드와 테스트 에이전트의 컴퓨터 또는 사용자 계정을 TeamTestControllerUsers 그룹에 추가
빌드 정의에 추가한 테스트 설정 파일에서 테스트 컨트롤러와 테스트 에이전트를 사용하는 경우 사용되는 모든 빌드 또는 테스트 에이전트의 컴퓨터를 테스트 컨트롤러 컴퓨터의 TeamTestControllerUsers 보안 그룹에 추가해야 합니다. 예를 들어 코딩된 UI 테스트를 빌드 프로세스의 일부로 실행하려면 해당 컴퓨터를 이 보안 그룹에 추가해야 합니다.
경고
Network Service 계정이 아닌 다른 사용자를 사용하도록 빌드 에이전트나 테스트 에이전트를 설정한 경우 이 도메인 사용자 계정을 TeamTestControllerUsers 그룹에 대신 추가해야 합니다.
빌드와 테스트 에이전트의 컴퓨터 또는 사용자 계정을 TeamTestControllerUsers 그룹에 추가하려면
테스트 컨트롤러 컴퓨터에서 시작, 제어판, 관리 도구, 컴퓨터 관리를 차례로 클릭합니다.
컴퓨터 관리 대화 상자가 표시됩니다.
로컬 사용자 및 그룹을 열고 그룹을 클릭합니다.
그룹이 표시됩니다.
사용자나 컴퓨터를 추가하려면 TeamTestControllerUsers를 마우스 오른쪽 단추로 클릭하고 그룹에 추가를 선택합니다.
TeamTestControllerUsers 등록 정보 대화 상자가 나타납니다.
멤버 목록을 조회하여 도메인 사용자 계정이나 컴퓨터가 이미 추가되어 있는지 확인합니다. 도메인 사용자 계정이나 컴퓨터가 추가되어 있지 않으면 추가를 클릭합니다.
사용자, 컴퓨터 또는 그룹 선택 대화 상자가 표시됩니다.
기본적으로 사용자나 그룹이 하나만 표시됩니다. 컴퓨터를 추가하려면 개체 형식을 클릭하고 컴퓨터를 선택한 다음 확인을 클릭합니다.
컴퓨터를 추가하려면 **선택할 개체 이름을 입력하십시오.**에 컴퓨터의 이름을 입력하고 확인을 클릭합니다.
경고
빌드 에이전트가 실행되는 컴퓨터와 테스트 에이전트의 컴퓨터를 둘 다 추가해야 합니다.
도메인 사용자 계정을 추가하려면 위치가 올바른지 확인하고 **선택할 개체 이름을 입력하십시오.**에 사용자 계정의 이름을 입력한 다음 확인을 클릭합니다.
중요
이 단계를 반복하여 필요한 사용자 계정을 모두 추가합니다.
변경 내용을 적용하려면 확인을 클릭합니다.
코딩된 UI 테스트를 실행할 에이전트 설정
응용 프로그램을 빌드한 후 코딩된 UI 테스트를 예약된 테스트의 일부로 실행하려면 다음 중 하나를 수행해야 합니다.
테스트 컨트롤러를 지정하고 테스트를 실행할 응용 프로그램의 역할을 지정하는 테스트 설정 파일을 사용합니다. Microsoft Visual Studio 2010을 사용하여 이러한 테스트 설정을 만듭니다. 테스트 설정에서 테스트를 실행하는 역할에 할당된 테스트 에이전트 중 하나에 대해 이 절차의 단계를 수행하여 테스트 에이전트를 서비스가 아닌 프로세스로 실행하도록 설정해야 합니다. 테스트 컨트롤러와 테스트 에이전트에 대한 자세한 내용은 테스트를 실행하거나 데이터를 수집할 테스트 컴퓨터 설정 및 Visual Studio 에이전트 설치, 테스트 및 빌드 컨트롤러 설치 및 구성을 참조하십시오.
테스트 컨트롤러를 지정하지 않는 테스트 설정 파일을 사용합니다. 그런 다음 빌드 에이전트 서비스가 데스크톱과 상호 작용할 수 있도록 설정해야 합니다. 서비스의 속성을 서비스와 데스크톱 상호 작용 허용으로 선택합니다. 그러면 빌드 에이전트가 코딩된 UI 테스트를 실행할 수 있습니다.
경고
코딩된 UI 테스트를 실행하여 브라우저가 시작되는 경우 해당 브라우저를 시작하는 데 빌드 서비스의 서비스 계정이 사용됩니다. 이 서비스 계정은 이 컴퓨터에서 활성 사용자인 사용자 계정과 동일해야 합니다. 동일한 사용자 계정이 아니면 브라우저가 시작되지 않습니다.
코딩된 UI 테스트를 실행할 테스트 에이전트를 설정하려면
- 코딩된 UI 테스트를 실행하도록 테스트 에이전트를 설정하려면 방법: 데스크톱과 상호 작용하는 테스트를 실행하기 위해 테스트 에이전트 설정의 단계를 따릅니다.
팀 빌드를 사용하여 BVT를 실행하려면
팀 빌드를 사용하여 BVT를 실행하려면
팀 탐색기에서 팀 프로젝트를 클릭합니다.
빌드를 마우스 오른쪽 단추로 클릭한 다음 새 빌드 큐 대기를 클릭합니다.
(선택 사항) 빌드 위치와 디렉터리를 변경합니다.
큐를 클릭합니다.
빌드가 시작되고 빌드 탐색기 대화 상자가 나타납니다.
빌드가 완료되면 완료됨을 클릭하여 정보를 확인합니다.
빌드의 세부 정보를 보려면 목록에서 빌드를 두 번 클릭합니다.
빌드 정보가 새 탭에 표시됩니다. 테스트 실행 상태를 볼 수 있습니다.
테스트 결과 정보를 보려면 화살표를 클릭하여 테스트를 열고 테스트 결과 보기를 클릭합니다.
테스트 결과를 로컬로 저장할 폴더를 선택합니다.
테스트 결과가 테스트 결과 창에 표시됩니다.
자세한 내용은 응용 프로그램 빌드를 참조하십시오.