신뢰도가 낮은 테스트 관리
Azure DevOps Services
개발자를 위한 생산성은 테스트 기능을 사용하여 개발 중인 코드의 실제 문제를 찾거나 시기 적절하게 신뢰할 수 있는 방식으로 업데이트합니다. 오류는 종종 테스트되는 변경 내용과 관련이 없기 때문에 Flaky 테스트는 실제 문제를 찾는 데 장벽을 제시합니다. 가연성 테스트는 소스 코드 또는 실행 환경에 변경 내용이 없는 경우에도 통과 또는 실패와 같은 다양한 결과를 제공하는 테스트입니다. 벗겨진 테스트는 배송된 코드의 품질에도 영향을 줍니다.
참고 항목
이 기능은 Azure DevOps Services에서만 사용할 수 있습니다. 일반적으로 새 기능은 먼저 클라우드 서비스에 도입된 다음 Azure DevOps Server의 다음 주 버전 또는 업데이트에서 온-프레미스에서 사용할 수 있게 됩니다. 자세한 내용은 Azure DevOps 기능 타임라인을 참조 하세요.
제품에서 벗겨진 테스트 관리를 가져오는 목표는 벗겨진 테스트로 인한 개발자 통증 원인을 줄이고 전체 워크플로를 수용하는 것입니다. Flaky 테스트 관리는 다음과 같은 이점을 제공합니다.
검색 - 사용자 고유의 사용자 지정 검색 방법을 연결하기 위해 다시 실행 또는 확장성으로 벗겨진 테스트 자동 검색
flakiness 관리 - 테스트가 flaky로 표시되면 해당 분기의 모든 파이프라인에 데이터를 사용할 수 있습니다.
벗겨진 테스트에 대한 보고서 - 벗겨진 테스트 로 인한 빌드 실패를 방지할지 여부를 선택하거나 문제 해결에만 벗겨진 태그를 사용할 수 있습니다.
해결 방법 - 수동 버그 만들기 또는 수동 표시 및 표시 해제 테스트가 분석에 따라 벗겨짐
루프 닫기 - 버그 확인/수동 입력의 결과로 벗겨진 테스트 다시 설정
신뢰도 낮은 테스트 관리 사용
벗겨진 테스트 관리를 구성하려면 프로젝트 설정을 선택하고 파이프라인 섹션에서 테스트 관리를 선택합니다.
켜기/끄기 단추를 켜기로 밉니다.
모든 프로젝트에 대한 기본 설정은 문제 해결을 위해 벗겨진 테스트를 사용하는 것입니다.
불안정한 테스트 검색
Flaky 테스트 관리는 시스템 및 사용자 지정 검색을 지원합니다.
시스템 검색: 제품 내 벗겨진 검색은 테스트 다시 실행 데이터를 사용합니다. 검색은 실패한 테스트 기능의 VSTest 태스크 다시 실행 또는 파이프라인의 스테이지 재시도를 통해 수행됩니다. 가연성 테스트를 검색하려는 프로젝트에서 특정 파이프라인을 선택할 수 있습니다.
참고 항목
테스트가 벗겨진 것으로 표시되면 해당 분기의 모든 파이프라인에서 데이터를 사용하여 모든 파이프라인의 문제 해결을 지원할 수 있습니다.
사용자 지정 검색: Azure Pipelines와 고유한 flaky 검색 메커니즘을 통합하고 보고 기능을 사용할 수 있습니다. 사용자 지정 검색을 사용하면 벗겨진 테스트에 대한 테스트 결과 메타데이터를 업데이트해야 합니다. 자세한 내용은 테스트 결과, 결과 메타 데이터 - REST API 업데이트를 참조하세요.
Flaky 테스트 옵션
Flaky 테스트 옵션은 다음 섹션에 설명된 대로 테스트 보고 및 해결 기능에서 벗겨진 테스트를 사용할 수 있는 방법을 지정합니다.
신뢰도 낮은 테스트 관리 및 보고
테스트 관리 페이지의 Flaky 테스트 옵션 아래에서 테스트 요약 보고서에 벗겨진 테스트가 포함되는 방식에 대한 옵션을 설정할 수 있습니다. 통과된 테스트와 실패한 테스트 모두에 대한 벗겨진 테스트 데이터는 테스트 결과에서 사용할 수 있습니다. 벗겨진 태그는 벗겨진 테스트를 식별하는 데 도움이 됩니다. 기본적으로 벗겨진 테스트는 테스트 요약에 포함됩니다. 그러나 테스트 실패가 파이프라인에 실패하지 않도록 하려면 테스트 요약에 포함하지 않고 테스트 실패를 표시하지 않도록 선택할 수 있습니다. 이 옵션을 사용하면 다음 스크린샷과 같이 테스트에 보고되지 않은 테스트(통과 및 실패 모두)가 통과 백분율에서 제거되고 표시되지 않습니다.
참고 항목
테스트 요약 보고서는 Visual Studio 테스트 작업 및 테스트 결과 게시 태스크에 대해서만 업데이트됩니다. 다른 시나리오에서 테스트 실패를 표시하지 않는 사용자 지정 스크립트를 추가해야 할 수 있습니다.
벗겨짐으로 표시된 테스트
Flaky(또는 테스트가 이미 flaky로 표시되어 있는지 여부에 따라 UnFlaky)를 선택하여 분석 또는 컨텍스트에 따라 테스트를 flaky로 표시하거나 표시 해제할 수 있습니다.
테스트가 파이프라인에서 벗겨지거나 아첨하지 않는 것으로 표시되면 현재 파이프라인에서 변경 내용이 변경되지 않습니다. 해당 테스트의 향후 실행에서만 변경된 가변적인 설정이 평가됩니다. flaky로 표시된 테스트에는 사용자 인터페이스에 표시한 벗겨진 태그가 있습니다.
