방법: 응용 프로그램을 빌드한 후 예약된 테스트 구성 및 실행
빌드를 완료한 후 테스트를 실행하여 빌드 품질을 평가할 수 있습니다.이러한 테스트를 BVT(빌드 확인 테스트) 또는 스모크 테스트라고도 합니다.이러한 테스트는 대개 응용 프로그램의 특정 빌드에서 주요 영역을 확인하는 데 사용되는 다양한 테스트 도구 모음으로 이루어집니다.BVT에서 모든 테스트가 통과된 경우 빌드는 성공으로 간주됩니다.
하나 이상의 자동화된 테스트 형식을 빌드 확인 테스트의 일부로 사용할 수 있습니다.실행할 수 있는 테스트 형식은 다음과 같습니다.
단위 테스트
코딩된 UI 테스트
웹 성능 테스트
부하 테스트
제네릭 테스트
BVT를 만드는 데는 Visual Studio, Team Foundation 버전 제어 및 Team Foundation Build가 사용됩니다.BVT를 소스 제어를 사용 하 여 자동화 된 테스트를 먼저 확인 합니다 Team Foundation 버전 제어.다음 테스트 빌드 정의를 추가 합니다.마지막으로, Team Foundation Build를 사용하여 빌드를 큐에 대기시킵니다. 빌드를 성공적으로 완료하면 테스트가 실행됩니다.
[!참고]
클라이언트 컴퓨터에 팀 탐색기가 설치되어 있어야 하며 Visual Studio 사용자 세션이 Team Foundation Server 컴퓨터에 연결되어 있어야 합니다.Team Foundation Server에 연결하는 방법에 대한 자세한 내용은 How to: Connect to a Team Project in Team Foundation Server을 참조하십시오.
이 항목에서는 빌드 확인 테스트를 만들고 실행하는 데 필요한 모든 절차를 설명합니다.
빌드 확인 테스트 체크 인
빌드 정의 만들기
빌드와 테스트 에이전트의 컴퓨터 또는 사용자 계정을 TeamTestControllerUsers 그룹에 추가
코딩된 UI 테스트를 실행할 에이전트 설정
BVT 빌드 정의 실행
빌드 확인 테스트 체크 인
이 절차에서는 솔루션의 모든 파일을 체크 인합니다.
빌드 확인 테스트를 소스 제어에 체크 인하려면
Team Foundation Server 컴퓨터에 연결합니다.자세한 내용은 How to: Connect to a Team Project in Team Foundation Server을 참조하십시오.
솔루션이 소스 제어에 없는 경우 소스 제어에 솔루션을 추가합니다.자세한 내용은 Add a Project or Solution to Version Control를 참조하십시오.
선택 팀 탐색기 다음 선택 보류 중인 체크 인.보류 중인 체크 인 창이 나타납니다.
솔루션의 모든 파일을 체크 인합니다.자세한 내용은 Check In Pending Changes을 참조하십시오.
[!참고]
BVT를 만들고 관리하는 방식을 관장할 특정 팀 프로세스가 필요할 수 있습니다.예를 들어 코드 및 코드를 대상으로 실행할 테스트를 체크 인하기 전에 프로세스에 따라 로컬로 빌드를 확인해야 할 수도 있습니다.
체크 인 작업을 완료한 후에 자물쇠 아이콘이 솔루션 탐색기의 각 파일 옆에 표시되어 체크 인 상태를 나타냅니다.자세한 내용은 Identify Version Control Item Status in Solution Explorer을 참조하십시오.
체크 인한 테스트를 빌드에 사용할 수 있습니다.이제 BVT에서 실행할 테스트가 포함된 빌드 정의를 만들 수 있습니다.
빌드 정의 만들기
BVT 빌드 정의를 만들려면
팀 탐색기, 팀 프로젝트를 선택 합니다.
홈 페이지의 팀 탐색기, 선택 빌드.
빌드 페이지를 표시 합니다.
선택 새 빌드 정의.
새 빌드 정의 탭이 나타납니다.
새 빌드 정의에 관련된 정보를 입력합니다. 자세한 내용은 빌드 정의 만들기를 참조하십시오.
빌드 정의에 연결할 이름을 지정 된 빌드 정의 이름 텍스트 상자.
(선택 사항) 설명에 적절한 설명을 추가합니다.
선택 작업 공간.
작업 폴더 테이블에는 새 빌드 정의를 만들 팀 프로젝트의 소스 제어 폴더와 빌드 에이전트의 로컬 폴더가 포함됩니다.빌드 에이전트의 로컬 폴더는 로컬 폴더 열에 나열됩니다.빌드 에이전트의 모든 작업 영역 경로는 표시된 기본 루트 디렉터리와 상대적으로 매핑됩니다.
작업 폴더 목록에 기존 작업 영역을 복사 하려면 선택 기존 작업 영역 복사 열은 작업 영역 선택 대화 상자.
선택한 작업 영역은 빌드 에이전트에서 공통 루트 디렉터리인 $(SourceDir)로 정규화됩니다.여기서 SourceDir은 $(BuildDir)\Sources로 확장되는 환경 변수입니다.
다음 작업 폴더로 추가할 소스 제어 폴더를 찾아보려면 줄임표 (...)를 선택 하 고 소스 제어 폴더에는 빈 테이블 셀을 선택할 수도 있습니다.선택하는 소스 제어 폴더도 빌드 에이전트에서 공용 루트 디렉터리로 정규화됩니다.
선택 빌드 기본값.
빌드 기본값 창의 빌드 컨트롤러 드롭다운 목록에 빌드 컨트롤러가 있으면 이를 선택할 수 있습니다.
다음 저장 폴더에 빌드 출력 복사에 (\\server\share) 위치와 같은 UNC 경로를 입력합니다.빌드가 완료되는 즉시 빌드된 이진 파일 및 로그 파일이 이 폴더에 배치됩니다.저장 폴더를 설정하는 방법에 대한 자세한 내용은 스테이징 위치 선택 및 저장 폴더 설정을 참조하십시오.
코딩된 UI 테스트, 웹 성능 테스트 또는 부하 테스트를 빌드 정의의 일부로 실행하려면 이 위치에 있는 빌드 출력을 사용하여 응용 프로그램을 시작하거나 설치해야 합니다.빌드가 완료 되 고 테스트를 실행 하려면 먼저 응용 프로그램을 자동으로 설치 하려면 SCVMM 환경에 응용 프로그램을 배포할 수 있습니다 실험실 기본 템플릿을 사용 또는 배포 응용 프로그램을 표준 환경에이 랩 기본 서식 파일을 수정할 수 있습니다.
[!참고]
이 단계를 완료하기 전에 공용 폴더를 만들고 이 폴더에 대한 모든 권한을 TFSService 계정에 부여해야 합니다.Team Foundation 서비스 계정에 대한 자세한 내용은 Team Foundation Server 서비스 보기를 참조하십시오.
선택 프로세스.에 프로세스 창에서 선택 자세한 정보 표시.
에 필요 섹션에서 옆에 두 번째 열에서 줄임표를 선택 항목에 빌드.
빌드할 항목 대화 상자가 나타납니다.
추가를 선택합니다.솔루션 또는 프로젝트를 버전 제어 트리를 작성 하 고 선택 하 고 찾을 확인.
에 항목에 빌드 대화 상자에서 선택 확인.
테스트 어셈블리를 찾기 위한 검색 패턴을 지정 하려면 테스트 어셈블리 Filespec.검색 문자열을 입력합니다.예를 들어, ** 모든 Dll에서 이름에에서 "테스트" 라는 단어를 포함 하는 경우 \*test*.dll.
[!참고]
재귀적으로 디렉터리 검색 일치 하는 모든 Dll에이 검색 문자열 검색 * test*.dll 디렉터리에 있는 이진 파일입니다.자세한 내용은 빌드 프로세스 정의을 참조하십시오.
(선택 사항) 테스트를 실행할 때 사용 하는 테스트 설정 파일을 선택 하 여 자동 테스트개방형 테스트 어셈블리 선택 TestSettings 파일 다음 줄임표 (...)를 선택 합니다.
찾아보기 대화 상자가 나타납니다.테스트 설정을 사용 하 고 다음을 선택 하 여 원하는 포함.test 설정 파일을 찾을 확인.
테스트 설정 파일에 테스트 컨트롤러와 테스트 에이전트가 사용되는 경우 빌드와 테스트 에이전트의 컴퓨터 또는 사용자 계정을 TeamTestControllerUsers 그룹에 추가 절차를 참조하십시오.
코딩된 UI 테스트를 실행하는 경우 코딩된 UI 테스트를 실행할 에이전트 설정 절차를 참조하여 테스트 설정 파일을 기준으로 에이전트를 설정하십시오.
[!참고]
고급 섹션의 에이전트 설정을 사용하여 필요한 특정 에이전트를 선택할 수 있습니다.예를 들어 코딩된 UI 테스트를 실행할 때 대화형 프로세스로 실행할 에이전트를 선택해야 하는 경우 여기에서 해당 에이전트를 선택할 수 있습니다.
테스트 설정 파일에 대한 자세한 내용은 Visual Studio 테스트를 위한 테스트 설정 지정를 참조하십시오.
(선택 사항) 빌드 프로세스의 일부로 부하 테스트를 실행하려면 부하 테스트 결과 리포지토리를 설정하고 테스트 설정에 지정된 테스트 컨트롤러가 해당 리포지토리를 사용하도록 구성해야 합니다.자세한 내용은 방법: 부하 테스트 결과 리포지토리 선택을 참조하십시오.
새 빌드 정의 저장 하려면 저장.
새 빌드 정의가 빌드 폴더 아래의 팀 탐색기 창에 나타납니다.
빌드와 테스트 에이전트의 컴퓨터 또는 사용자 계정을 TeamTestControllerUsers 그룹에 추가
빌드 정의에 추가한 테스트 설정 파일에서 테스트 컨트롤러와 테스트 에이전트를 사용하는 경우 사용되는 모든 빌드 또는 테스트 에이전트의 컴퓨터를 테스트 컨트롤러 컴퓨터의 TeamTestControllerUsers 보안 그룹에 추가해야 합니다.예를 들어 코딩된 UI 테스트를 빌드 프로세스의 일부로 실행하려면 해당 컴퓨터를 이 보안 그룹에 추가해야 합니다.
.gif "주의 정보") 주의 |
|---|
Network Service 계정이 아닌 다른 사용자를 사용하도록 빌드 에이전트나 테스트 에이전트를 설정한 경우 이 도메인 사용자 계정을 TeamTestControllerUsers 그룹에 대신 추가해야 합니다. |
빌드와 테스트 에이전트의 컴퓨터 또는 사용자 계정을 TeamTestControllerUsers 그룹에 추가하려면
테스트 컨트롤러에서 컴퓨터, 클릭 시작, 선택 제어판, 선택 관리 도구, 다음을 선택 하 고 컴퓨터 관리.
컴퓨터 관리 대화 상자가 표시됩니다.
열기 로컬 사용자 및 그룹 다음 선택 그룹.
그룹이 표시됩니다.
사용자나 컴퓨터를 추가하려면 TeamTestControllerUsers를 마우스 오른쪽 단추로 클릭하고 그룹에 추가를 선택합니다.
TeamTestControllerUsers 등록 정보 대화 상자가 나타납니다.
멤버 목록을 조회하여 도메인 사용자 계정이나 컴퓨터가 이미 추가되어 있는지 확인합니다.그렇지 않은 경우 선택 추가.
사용자, 컴퓨터 또는 그룹 선택 대화 상자가 표시됩니다.
기본적으로 사용자나 그룹이 하나만 표시됩니다.컴퓨터를 추가 하려면 선택 개체 형식, 컴퓨터 다음 선택 확인.
컴퓨터를 추가할 컴퓨터의 이름을 입력 선택할 개체 이름을 입력 하십시오에서 다음을 선택 하 고 확인.
주의빌드 에이전트가 실행되는 컴퓨터와 테스트 에이전트의 컴퓨터를 둘 다 추가해야 합니다.
도메인 사용자 계정을 추가 하려면 위치가 올바른지 확인에서 사용자 계정의 이름을 입력 합니다. 선택할 개체 이름을 입력 하십시오, 다음을 선택 하 고 확인.
중요이 단계를 반복하여 필요한 사용자 계정을 모두 추가합니다.
변경 내용을 적용 하려면 확인.
코딩된 UI 테스트를 실행할 에이전트 설정
응용 프로그램을 빌드한 후 코딩된 UI 테스트를 예약된 테스트의 일부로 실행하려면 다음 중 하나를 수행해야 합니다.
테스트 컨트롤러를 지정하고 테스트를 실행할 응용 프로그램의 역할을 지정하는 테스트 설정 파일을 사용합니다.만들 이러한 Visual Studio 사용 하 여 설정을 테스트 합니다.테스트 설정에서 테스트를 실행하는 역할에 할당된 테스트 에이전트 중 하나에 대해 이 절차의 단계를 수행하여 테스트 에이전트를 서비스가 아닌 프로세스로 실행하도록 설정해야 합니다.테스트 컨트롤러와 테스트 에이전트에 대한 자세한 내용은 테스트를 실행하거나 데이터를 수집할 테스트 컴퓨터 설정 및 테스트 에이전트 및 테스트 컨트롤러 설치 및 구성을 참조하십시오.
테스트 컨트롤러를 지정하지 않는 테스트 설정 파일을 사용합니다.그런 다음 빌드 에이전트 서비스가 데스크톱과 상호 작용할 수 있도록 설정해야 합니다.서비스의 속성을 서비스와 데스크톱 상호 작용 허용으로 선택합니다.그러면 빌드 에이전트가 코딩된 UI 테스트를 실행할 수 있습니다.
주의코딩된 UI 테스트를 실행하여 브라우저가 시작되는 경우 해당 브라우저를 시작하는 데 빌드 서비스의 서비스 계정이 사용됩니다.이 서비스 계정은 이 컴퓨터에서 활성 사용자인 사용자 계정과 동일해야 합니다.동일한 사용자 계정이 아니면 브라우저가 시작되지 않습니다.
코딩된 UI 테스트를 실행할 테스트 에이전트를 설정하려면
- 코딩된 UI 테스트를 실행하도록 테스트 에이전트를 설정하려면 방법: 데스크톱과 상호 작용하는 테스트를 실행하기 위해 테스트 에이전트 설정의 단계를 따릅니다.
팀 빌드를 사용하여 BVT를 실행하려면
팀 빌드를 사용하여 BVT를 실행하려면
팀 탐색기, 팀 프로젝트를 선택 합니다.
마우스 오른쪽 단추로 클릭 빌드 다음 선택 새 빌드 큐 대기.
(선택 사항) 빌드 위치와 디렉터리를 변경합니다.
큐를 선택합니다.
빌드가 시작되고 빌드 탐색기 대화 상자가 나타납니다.
빌드가 완료 되 면 선택 완료 자세한 정보를 보려면.
빌드의 세부 정보를 보려면 목록에서 빌드를 두 번 클릭합니다.
빌드 정보가 새 탭에 표시됩니다.테스트 실행 상태를 볼 수 있습니다.
자세한 테스트 결과 보려면 테스트를 열고 선택 하 고 화살표를 선택 합니다. 테스트 결과 보기.
테스트 결과를 로컬로 저장할 폴더를 선택합니다.
테스트 결과가 테스트 결과 창에 표시됩니다.
자세한 내용은 응용 프로그램 빌드를 참조하십시오.
참고 항목
개념
Microsoft Test Manager에서 자동화된 테스트 실행
Visual Studio 웹 성능 및 부하 테스트를 사용하여 성능 및 스트레스 테스트