불안정한 테스트 관리
Azure DevOps Services
개발자를 위한 생산성은 테스트 기능을 사용하여 개발 중인 코드의 실제 문제를 찾거나 시기 적절하게 신뢰할 수 있는 방식으로 업데이트합니다. 오류는 종종 테스트되는 변경 내용과 관련이 없기 때문에 Flaky 테스트는 실제 문제를 찾는 데 장벽을 제시합니다. 가연성 테스트는 소스 코드 또는 실행 환경에 변경 내용이 없는 경우에도 통과 또는 실패와 같은 다양한 결과를 제공하는 테스트입니다. 벗겨진 테스트는 배송된 코드의 품질에도 영향을 줍니다.
참고
이 기능은 Azure DevOps Services에서만 사용할 수 있습니다. 일반적으로 새 기능은 먼저 클라우드 서비스에 도입된 다음 Azure DevOps Server의 다음 주 버전 또는 업데이트에서 온-프레미스에서 사용할 수 있게 됩니다. 자세한 내용은 Azure DevOps 기능 타임라인을 참조 하세요.
제품 내에서 불안정한 테스트 관리 기능을 도입하는 목표는 불안정한 테스트로 인한 개발자의 어려움을 줄이고 전체 워크플로를 최적화하는 것입니다. Flaky 테스트 관리는 다음과 같은 이점을 제공합니다.
감지 - 재실행 또는 확장성을 통해 불안정한 테스트 자동 감지 및 사용자 고유의 사용자 지정 감지 방법을 연결할 수 있는 기능
불안정성 관리 - 테스트가 불안정한 것으로 표시되면 해당 분기의 모든 파이프라인에 데이터가 제공됩니다.
벗겨진 테스트에 대한 보고서 - 벗겨진 테스트 로 인한 빌드 실패를 방지할지 여부를 선택하거나 문제 해결에만 벗겨진 태그를 사용할 수 있습니다.
해결책 - 버그를 수동으로 생성하거나 분석에 따라 테스트를 수동으로 불안정하다고 표시 및 해제.
루프를 완결하기 - 버그 해결/수동 입력 결과로 불안정한 테스트 재설정
불안정한 테스트 관리 활성화
불안정한 테스트 관리를 구성하려면 프로젝트 설정을 선택하고, 파이프라인 섹션에서 테스트 관리를 선택합니다.
켜기/끄기 버튼을 켜기 위치로 슬라이드합니다.
모든 프로젝트에 대한 기본 설정은 문제 해결을 위해 벗겨진 테스트를 사용하는 것입니다.
불안정한 테스트 탐지
불안정한 테스트 관리는 시스템 및 사용자 정의 탐지를 지원합니다.
시스템 탐지: 제품 내 불안정성 감지는 테스트 재실행 데이터를 사용합니다. 검색은 VSTest 태스크의 실패한 테스트를 다시 실행하는 기능이나 파이프라인에서 스테이지를 재시도하는 기능을 통해 수행됩니다. 가연성 테스트를 검색하려는 프로젝트에서 특정 파이프라인을 선택할 수 있습니다.
참고
테스트가 불안정한 것으로 표시되면 해당 브랜치의 모든 파이프라인에서 데이터를 사용할 수 있어 모든 파이프라인의 문제 해결을 지원합니다.
사용자 지정 감지: Azure Pipelines와 사용자 고유의 불안정한 감지 메커니즘을 통합하여 보고 기능을 사용할 수 있습니다. 사용자 지정 감지를 사용하면 불안정한 테스트에 대한 테스트 결과 메타데이터를 업데이트해야 합니다. 자세한 내용은 테스트 결과, 결과 메타 데이터 - REST API 업데이트를 참조하세요.
불안정한 테스트 옵션
Flaky 테스트 옵션은 다음 섹션에 설명된 대로 테스트 보고 및 해결 기능에서 불안정한 테스트를 어떻게 사용할 수 있는지 지정합니다.
신뢰도 낮은 테스트 관리 및 보고
테스트 관리 페이지에서 Flaky 테스트 옵션 아래에 있는, 테스트 요약 보고서에 Flaky 테스트가 포함되는 방식에 대한 옵션을 설정할 수 있습니다. 테스트 결과에서 통과한 테스트와 실패한 테스트 모두의 불안정한 테스트 데이터를 사용할 수 있습니다. 불안정 태그는 불안정한 테스트를 식별하는 데 도움이 됩니다. 기본적으로 불안정한 테스트는 테스트 요약에 포함됩니다. 그러나 플레키 테스트 실패가 파이프라인에 영향을 주지 않도록 하려면, 테스트 요약에 포함하지 않고 테스트 실패를 무시하도록 선택할 수 있습니다. 이 옵션을 사용하면 다음 스크린샷과 같이 불안정한 테스트(통과 및 실패한 테스트 모두)가 통과 백분율에서 제거되고 보고되지 않은 테스트로 표시됩니다.
참고
테스트 요약 보고서는 Visual Studio 테스트 작업 및 테스트 결과 게시 태스크에 대해서만 업데이트됩니다. 다른 시나리오에서 테스트 실패를 억제하기 위해 사용자 지정 스크립트를 추가해야 할 수 있습니다.
벗겨짐으로 표시된 테스트
Flaky(또는 테스트가 이미 flaky로 표시되어 있는지 여부에 따라 UnFlaky)를 선택하여 분석 또는 컨텍스트에 따라 테스트를 flaky로 표시하거나 표시 해제할 수 있습니다.
테스트가 파이프라인에서 불안정한 또는 안정적인 것으로 표시되더라도 현재 파이프라인에는 변경 사항이 없습니다. 해당 테스트의 향후 실행에서만 변경된 가변적인 설정이 평가됩니다. flaky로 표시된 테스트에는 사용자 인터페이스에 flaky 태그가 있습니다.
