Udostępnij za pośrednictwem

Przeglądanie wyników testu

  • Artykuł

Azure DevOps Services | Azure DevOps Server 2022 — Azure DevOps Server 2019

Testy automatyczne można skonfigurować do uruchamiania w ramach kompilacji lub wydania dla różnych języków. Raporty testowe zapewniają skuteczny i spójny sposób wyświetlania wyników testów wykonywanych przy użyciu różnych frameworków testowych, w celu mierzenia jakości potoku, przeglądania śledzenia, rozwiązywania problemów z awariami i własności awarii. Ponadto udostępnia wiele zaawansowanych funkcji raportowania omówionych w poniższych sekcjach.

Możesz również przeprowadzić dokładną analizę wyników testów przy użyciu usługi Analizy. Aby zapoznać się z przykładem korzystania z potoków budowania i wdrażania, zobacz Analizowanie wyników testów.

Przeczytaj słownik, aby zrozumieć terminologię raportu testowego.

Opublikowane wyniki testów można wyświetlić na karcie Testy w podsumowaniu kompilacji lub wydania.

Wyniki testów powierzchni na karcie Testy

Wyniki testów można wyświetlić na karcie Testy przy użyciu jednej z następujących opcji:

  • Automatycznie wnioskowane wyniki testu. Domyślnie potok może automatycznie wnioskować dane wyjściowe testu dla kilku popularnych modułów uruchamiającego testy. Przeanalizuj dzienniki błędów wygenerowane podczas operacji kompilacji, a następnie sprawdź symptomy niepowodzeń testów. Obecnie usługa Azure DevOps obsługuje następujące języki i moduły uruchamiającego testy w celu automatycznego wnioskowania wyników testu:

  • Zadania wykonywania testów. Wbudowane zadania wykonywania testów, takie jak Test programu Visual Studio, które automatycznie publikują wyniki testów do rurociągu, lub inne, takie jak Ant, Maven, Gulp, Grunt i Xcode, które zapewniają tę możliwość jako opcję w ramach zadania.

  • Zadanie publikacji wyników testu. Zadanie, które publikuje wyniki testów w usłudze Azure Pipelines lub TFS, gdy testy są wykonywane przy użyciu wybranego modułu uruchamiającego, a wyniki są dostępne w dowolnym z obsługiwanych formatów wyników testu.

  • API. Wyniki testów opublikowane bezpośrednio za pomocą API zarządzania testami.

Informacje o testach Surface poza kartą Testy

Karta Testy zawiera szczegółowe podsumowanie wykonania testu. Jest to przydatne w śledzeniu jakości procesu i rozwiązywaniu problemów z awariami. Usługa Azure DevOps udostępnia również inne sposoby przedstawiania informacji testowych:

  • Tablica dashboards zapewnia widoczność postępu Twojego zespołu. Dodaj jeden lub więcej widżetów, które prezentują informacje związane z testami.

  • Analiza testów zapewnia bogaty wgląd w wyniki testów mierzone w danym okresie. Może pomóc zidentyfikować problematyczne obszary w teście, dostarczając dane, takie jak najważniejsze testy zakończone niepowodzeniem i nie tylko.

Wyświetlanie wyników testów w kompilacji

Podsumowanie kompilacji zawiera widok osi czasu kluczowych kroków wykonywanych w kompilacji. Jeśli testy zostały wykonane i zgłoszone w ramach kompilacji, w widoku osi czasu zostanie wyświetlony punkt kontrolny testu. Punkt kontrolny testu zawiera podsumowanie wyników testu jako procentowego wskaźnika zdanych testów wraz ze wskaźnikami niepowodzeń i przerwań, jeśli istnieją.

Wyświetlanie testu w widoku osi czasu kompilacji

Wyświetlanie wyników testów w wersji

W widoku kanalizacji można zobaczyć wszystkie etapy i powiązane testy. Widok zawiera podsumowanie wyników testu jako procent zdanych przypadków wraz ze wskaźnikami niepowodzeń i przerwań, jeśli występują. Te wskaźniki są takie same jak w widoku osi czasu kompilacji, zapewniając spójne środowisko kompilacji i wydania.

Wyświetlanie testu w widoku kanwy wydania

Karta testów

Podsumowania kompilacji i wydania zawierają szczegółowe informacje o wykonaniu testu. Wybierz pozycję Podsumowanie testu, aby wyświetlić szczegóły na karcie Testy . Ta strona zawiera następujące sekcje

  • Podsumowanie: zawiera kluczowe metryki ilościowe dla wykonania testu, takie jak łączna liczba testów, testy nieudane, procent powodzenia i nie tylko. Zapewnia również różnicowe wskaźniki zmian w porównaniu z poprzednią realizacją.

  • Wyniki: wyświetla listę wszystkich wykonanych i zgłoszonych testów w ramach bieżącej kompilacji lub wydania. Widok domyślny pokazuje tylko nieudane i przerwane testy, aby skoncentrować się na testach wymagających uwagi. Można jednak wybrać inne wyniki przy użyciu podanych filtrów.

  • Szczegóły: lista testów, które można sortować, grupować, wyszukiwać i filtrować, aby znaleźć potrzebne wyniki testu.

Zakładka Wyświetl testy

Wybierz dowolny przebieg testu lub wynik, aby wyświetlić panel szczegółów zawierający dodatkowe informacje potrzebne do rozwiązywania problemów, takie jak komunikat o błędzie, ślad stosu błędów, załączniki, elementy robocze, trend historyczny i inne.

Karta Szczegóły

Napiwek

Jeśli używasz zadania Test programu Visual Studio do uruchamiania testów, dane wyjściowe diagnostyczne rejestrowane z testów (przy użyciu dowolnej metody Console.WriteLine, Trace.WriteLine lub TestContext.WriteLine), będą wyświetlane jako załącznik do testu, który zakończył się niepowodzeniem.

Poniższe możliwości karty Testy pomagają zwiększyć produktywność i środowisko rozwiązywania problemów.

Filtrowanie wyników dużych testów

W miarę upływu czasu testy gromadzą się i, w przypadku dużych aplikacji, mogą łatwo osiągać dziesiątki tysięcy. W przypadku tych aplikacji z wieloma testami może być trudno przeglądać wyniki, aby zidentyfikować błędy testów, powiązać główne przyczyny lub przejąć odpowiedzialność za problemy. Filtry ułatwiają szybkie przechodzenie do interesujących Cię wyników testów. Możesz filtrować według Test Name, Outcome (niepowodzenie, sukces i więcej), Test Files (plików zawierających testy) i Owner (dla plików testowych). Wszystkie kryteria filtrowania mają charakter skumulowany.

Filtrowanie dużego zestawu wyników testów

Ponadto przy użyciu wielu opcji grupowania , takich jak przebieg testu, plik testowy, priorytet, wymaganie i nie tylko, można zorganizować widok Wyniki dokładnie tak, jak jest to wymagane.

Testowanie zarządzania długami w obecności błędów

Aby zarządzać długiem testowym wynikającym z niepowodzenia lub długotrwałości testów, możesz utworzyć błąd lub dodać dane do istniejącego błędu oraz wyświetlić wszystkie powiązane elementy robocze w zakładce zadań.

Immersyjne środowisko rozwiązywania problemów

Komunikaty o błędach i ślady stosu są z natury długie i wymagają odpowiednio dużo miejsca, aby móc zobaczyć szczegóły podczas rozwiązywania problemów. Aby zapewnić immersywne środowisko rozwiązywania problemów, widok Szczegóły można rozwinąć do widoku pełnej strony, jednocześnie będąc w stanie wykonać wymagane operacje w kontekście, takich jak tworzenie usterek lub skojarzenie wymagań dla wybranego wyniku testu.

Widok panelu pełnej strony

Rozwiązywanie problemów z danymi dotyczącymi niepowodzenia testu

W przypadku niepowodzeń testów komunikaty o błędach i ślady stosu są dostępne, aby ułatwić rozwiązywanie problemów. Możesz również wyświetlić wszystkie załączniki skojarzone z niepowodzeniem testu na karcie Załączniki .

Testowanie zarządzania długami

Możesz utworzyć nowy błąd lub dodać do istniejącego, aby zarządzać długiem testowym wynikającym z niepowodzeń lub długotrwałych testów. Karta Elementy robocze zawiera szczegółowe informacje o wszystkich usterach i wymaganiach skojarzonych z testem, aby ułatwić analizowanie wpływu wymagań oraz informacje o stanie i osobach pracujących nad usterką.

Historia wykonywania testów może zapewnić znaczący wgląd w niezawodność lub wydajność testów. Podczas rozwiązywania problemów z awarią warto wiedzieć, jak test został wykonany w przeszłości. Karta Testy zawiera historię testów w kontekście z wynikami testu. Informacje o historii testów są udostępniane w sposób progresywny, począwszy od bieżącego pipeline'u kompilacji i przejścia do innych gałęzi, lub od bieżącego etapu do innych etapów, odpowiednio dla procesu kompilacji i wydania.

Wyświetlanie trendów historycznych

Wyświetlanie wykonywania trwających testów

Testy, takie jak testy integracyjne i funkcjonalne, mogą być uruchamiane przez długi czas. Dlatego ważne jest, aby w danym momencie zobaczyć bieżący lub niemal w czasie rzeczywistym stan wykonywania testu. Nawet w przypadkach, w których testy są uruchamiane szybko, warto znać stan odpowiednich wyników testów tak szybko, jak to możliwe; szczególnie w przypadku wystąpienia awarii. Widok w toku eliminuje konieczność oczekiwania na zakończenie wykonywania testu. Wyniki są dostępne niemal w czasie rzeczywistym w miarę postępu wykonywania, co ułatwia szybsze wykonywanie akcji. Możesz debugować awarię, zgłosić usterkę lub przerwać pipeline.

Widok wersji w toku

Uwaga

Funkcja jest obecnie dostępna zarówno dla kompilacji, jak i wydania przy użyciu zadania Visual Studio Test w zadaniu Multi Agent. Będzie ona dostępna dla zadań pojedynczego agenta w przyszłej wersji.

Poniższy przykład przedstawia podsumowanie testu w trakcie w wydaniu, raportując łączną liczbę testów oraz liczbę niepowodzeń testów w konkretnym momencie. Błędy testów są dostępne do rozwiązywania problemów, tworzenia usterek lub podejmowania innych odpowiednich działań.

Widok podsumowania w toku

Wyświetlanie podsumowanych wyników testu

Podczas wykonywania testu może powstać wiele instancji lub testów, które przyczyniają się do ogólnego wyniku. Niektóre przykłady to testy, które są uruchamiane ponownie, testy składające się z uporządkowanej kombinacji innych testów (uporządkowanych testów) lub testów mających różne wystąpienia na podstawie parametru wejściowego (testy sterowane danymi).

Ponieważ te testy są powiązane, należy je zgłaszać wraz z ogólnym wynikiem pochodzącym z poszczególnych wystąpień lub testów. Te wyniki testów są zgłaszane jako podsumowany wynik testu na karcie Testy :

  • Ponowne uruchamianie nieudanych testów: Możliwość ponownego uruchamiania testów, które zakończyły się niepowodzeniem, jest dostępna w najnowszej wersji zadania Visual Studio Test. Podczas ponownego uruchamiania można wykonać wiele prób dla testu, które zakończyły się niepowodzeniem, a każda awaria może mieć inną główną przyczynę z powodu niedeterministycznego zachowania testu. Raporty testów zapewniają połączony widok dla wszystkich prób ponownego uruchomienia wraz z ogólnym wynikiem testu jako podsumowaną jednostką. Interfejsy API zarządzania testami obsługują teraz możliwość publikowania podsumowanych wyników testów i wykonywania zapytań.

    Ponowne uruchamianie testów zakończyło się niepowodzeniem

  • Testy sterowane danymi: podobnie jak ponowne uruchamianie testów, które zakończyły się niepowodzeniem, wszystkie iteracji testów opartych na danych są zgłaszane w ramach tego testu w podsumowanym widoku. Widok zbiorczy jest również dostępny dla uporządkowanych testów (.orderedtest w programie Visual Studio).

    Test oparty na danych

Uwaga

Metryki w sekcji podsumowania testu, takie jak łączna liczba testów, powodzenie, niepowodzenie lub inne są obliczane przy użyciu poziomu głównego podsumowanego wyniku testu.

Wyświetlanie przerwanych testów

Wykonanie testu może zostać przerwane z kilku powodów, takich jak nieprawidłowy kod testu, błędy w źródle w ramach testu lub problemy środowiskowe. Niezależnie od przyczyny przerwania ważne jest, aby móc zdiagnozować zachowanie i zidentyfikować główną przyczynę. Przerwane testy oraz ich przebiegi można wyświetlić obok ukończonych przebiegów w zakładce Testy.

Wyświetl zatrzymane testy.

Uwaga

Funkcja jest obecnie dostępna zarówno dla kompilacji, jak i wydania przy użyciu zadania Testu Visual Studio w zadaniu Multi-Agent lub podczas publikowania wyników testów przy użyciu interfejsów API do zarządzania testami. Będzie ona dostępna dla zadań pojedynczego agenta w przyszłej wersji.

Automatycznie wnioskowane wyniki testu

Usługa Azure DevOps może automatycznie wywnioskować dane wyjściowe testów uruchomionych w potokach dla kilku obsługiwanych platform testowych. Te automatycznie generowane raporty testowe nie wymagają określonej konfiguracji potoków i umożliwiają bezwysiłkowe rozpoczęcie korzystania z Raportowania Testów.

Przykład raportu testowego automatycznie wygenerowanego

Zobacz listę biegaczy, dla których wyniki testów są automatycznie wnioskowane.

Ponieważ w takich wnioskowanych raportach istnieją tylko ograniczone metadane testów, są one ograniczone w funkcjach i możliwościach. Następujące funkcje nie są dostępne dla raportów testów wywnioskowanych:

  • Grupuj wyniki testu według pliku testowego, właściciela, priorytetu i innych pól
  • Wyszukiwanie i filtrowanie wyników testu
  • Sprawdź szczegóły zdanych testów
  • Podgląd załączników generowanych podczas testów bezpośrednio w interfejsie użytkownika.
  • Skojarz niepowodzenie testu z nowym błędem lub zobacz listę powiązanych elementów roboczych dla tego niepowodzenia.
  • Zobacz analizy kompilacji na potrzeby testowania w Pipelines

Uwaga

Niektórzy biegacze, tacy jak Mocha, mają wielu wbudowanych reporterów konsoli, takich jak dot-matrix i progress-bar. Jeśli skonfigurowano nie domyślne dane wyjściowe konsoli dla modułu uruchamiającego testy lub używasz niestandardowego reportera, usługa Azure DevOps nie będzie mogła wywnioskować wyników testu. Może on wnioskować wyniki tylko z domyślnego reportera.

Pomoc i obsługa techniczna