Zuordnen von automatisierten Tests zu Testfällen
Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2019
Visual Studio 2022 | Visual Studio 2019 | Visual Studio 2017 | Visual Studio 2015
Durch die Zuordnung automatisierter Tests zu Testfällen können Sie Ihren Testprozess verbessern, indem sie eine bessere Rückverfolgbarkeit und Integration in Ihre CI/CD-Pipeline bieten. Dieser Artikel führt Sie durch die Szenarien, in denen das Zuordnen automatisierter Tests zu Testfällen von Vorteil ist und wie sie effektiv ausgeführt werden kann.
Voraussetzungen
| Kategorie | Anforderung |
|---|---|
| Projektzugriff | Projektmitglied. |
| Zugriffsebenen | - Um testbezogene Workitems anzuzeigen oder Testfälle auszuführen: Zumindest Grundlegend Zugang. Benutzer mit Stakeholder--Zugriff haben keinen Zugriff auf Testpläne. - Um die gesamte Palette der testbezogenen Features nutzen zu können: Basic + Test-Ablaufpläne-Zugriffsebene oder eines der folgenden Abonnements: - Unternehmen - Testprofi - MSDN-Plattformen |
| Berechtigungen | - Zum Hinzufügen oder Ändern von Testplänen, Testsuiten, Testfällen oder anderen testbasierten Workitem-Typen: Workitems in diesem Knoten bearbeiten Erlaubnis gesetzt auf Erlauben Sie unter dem entsprechenden Bereich Pfad. - Zum Ändern von Testplaneigenschaften wie Build- und Testeinstellungen: Verwalten von Testplänen Erlaubnis gesetzt auf Erlauben Sie unter dem entsprechenden Bereich Pfad. - Zum Erstellen und Löschen von Testsuiten, Hinzufügen und Entfernen von Testfällen aus Testsuiten oder Ändern von Testkonfigurationen, die mit Testsuiten verbunden sind: Verwalten von Testsuiten Erlaubnis gesetzt auf Erlauben Sie unter dem entsprechenden Bereich Pfad. – Berechtigungen auf Projektebene, die Sie möglicherweise benötigen: - Zum Anzeigen, Erstellen oder Löschen von Testläufen: Testläufe anzeigen, Testläufe erstellen, und Testläufe löschen Erlaubnis gesetzt auf Erlauben Sie. - Zum Verwalten von Testkonfigurationen oder Testumgebungen: Verwalten von Testkonfigurationen und Verwalten von Testumgebungen. - So fügen Sie neue Markierungen zu testbasierten Aufgaben hinzu: Tag-Definition erstellen Erlaubnis gesetzt auf Erlauben Sie. - Um testbasierte Workitems aus einem Projekt zu verschieben: Workitems aus diesem Projekt verschieben Erlaubnis gesetzt auf Erlauben Sie. - Um testbasierte Workitems zu löschen oder wiederherzustellen: Löschen und Wiederherstellen von Workitems Erlaubnis gesetzt auf Erlauben Sie. - Um testbasierte Workitems dauerhaft zu löschen: Dauerhaftes Löschen von Workitems Erlaubnis gesetzt auf Erlauben Sie. |
Weitere Informationen finden Sie im Handbuch zum Testzugriff und den Berechtigungen.
Erstellen eines Testprojekts und einer Build-Pipeline
Führen Sie die folgenden Schritte aus, um ein Testprojekt und eine Buildpipeline zu erstellen.
- Erstellen Sie ein Testprojekt, das Ihren automatisierten Test enthält. Weitere Informationen finden Sie unter , welche Testtypen dort unterstützt werden.
- Checken Sie Ihr Testprojekt in Azure DevOps ein.
- Erstellen Sie eine Buildpipeline für Ihr Projekt, und stellen Sie sicher, dass sie den automatisierten Test enthält. Weitere Informationen finden Sie unter , was die Unterschiede sind, wenn Sie noch einen XAML-Buildverwenden.
Ordnen Sie Ihre automatisierten Tests in Visual Studio zu
Erwägen Sie die Verwendung von Visual Studio, um automatisierte Tests einem Testfall in den folgenden Szenarien zuzuordnen:
Automatisierung manueller Testfälle: Wenn Sie einen manuellen Testfall erstellt haben und später entscheiden, dass er ein guter Kandidat für die Automatisierung ist, ihn aber dennoch als Teil eines Testplans ausführen möchten. Sie können diese Tests in der CI/CD-Pipeline ausführen, indem Sie den Testplan oder die Testsuite in den Einstellungen der aufgabe Visual Studio Test auswählen. Sie können auch automatisierte Tests über das Testpläne Webportal ausführen. Wenn Sie XAML-Builds verwenden, können Sie diese automatisierten Tests mithilfe von Microsoft Test Managerausführen.
Ermöglichen der End-to-End-Rückverfolgbarkeit: Wenn Ihre Testfälle mit Anforderungen oder Benutzergeschichten verknüpft sind, können Sie die Ergebnisse der Testausführung verwenden, um die Qualität dieser Anforderungen zu ermitteln.
Führen Sie die folgenden Schritte aus, um Ihren automatisierten Test einem Testfall in Visual Studio zuzuordnen.
Öffnen Sie Ihre Lösung in Visual Studio Enterprise oder Professional 2017 oder einer höheren Version.
Wenn Sie den Bezeichner der Arbeitsaufgabe für den Testfall nicht kennen, suchen Sie den Testfall in Azure Test Plans , oder fragen Sie die Arbeitsaufgabe im Arbeitshub ab.
Wenn Sie den Bezeichner der Arbeitsaufgabe für den Testfall kennen:
Wenn Sie Visual Studio 2017 oder höher verwenden, führen Sie die folgenden Schritte aus, um Ihre Tests zuzuordnen.
- Wenn das Fenster " Test-Explorer " nicht angezeigt wird, öffnen Sie es aus dem Test | Windows-Menü .
- Wenn Ihre Tests im Test-Explorer nicht angezeigt werden, kompilieren Sie die Projektmappe.
- Wählen Sie im Test-Explorer die Testmethode aus, die Sie zuordnen möchten, und wählen Sie "Testfall zuordnen" aus.
- Geben Sie im daraufhin geöffneten Dialogfeld den Testfallbezeichner ein, wählen Sie Zuordnung hinzufügen und anschließend Speichern aus.
Das Dialogfeld zeigt eine Liste der Testfälle, die derzeit der ausgewählten Testmethode zugeordnet sind. Sie können nicht mehr als eine Testmethode einem Testfall zuordnen, aber Sie können eine Testmethode mehreren Testfällen zuordnen.
Wenn Sie die Build- und Releasedienste in Azure DevOps verwenden, kein XAML-Build, können Sie die zugehörigen Tests in den Build- und Releasepipelinen mithilfe der aufgabe Visual Studio Test ausführen. Sie können Tests nicht bei Bedarf mit Dem Microsoft Test Manager ausführen, es sei denn, Sie verwenden einen XAML-Build.
Die Parameter in einem Testfall werden nicht von einem automatisierten Test verwendet, den Sie einem Testfall zuordnen. Iterationen eines Testfalls, die diese Parameter verwenden, sind nur für manuelle Tests vorgesehen.
Weitere Informationen finden Sie in den folgenden Artikeln:
- Hinzufügen von Dateien zum Server
- Kontinuierliche Integration auf jeder Plattform
- Aufzeichnen und Wiedergeben manueller Tests
- Verwenden von Benutzeroberflächenautomatisierung zum Testen des Codes
Ordnen Sie Ihren automatisierten Test in Azure DevOps zu
Zuordnen Ihres Tests aus der Build-Pipeline
Navigieren Sie zu Pipelines, und wählen Sie eine Pipeline aus, in der die automatisierten Tests ausgeführt wurden.
Wählen Sie den Build aus, in dem Ihre Tests ausgeführt wurden.
Suchen Sie auf der Registerkarte Tests nach dem automatisierten Test, den Sie mit einem manuellen Testfall verknüpfen möchten.
Wählen Sie den Test aus, und klicken Sie dann auf Testfall zuordnen.
Suchen Sie den manuellen Testfall, den Sie dem automatisierten Test zuordnen möchten, und klicken Sie auf Zuordnen.
Nachdem Sie Ihre automatisierten Tests ihren entsprechenden Testfällen zugeordnet haben, können Sie die Azure Test Plan-Aufgabe verwenden, um sie als Teil einer Pipeline auszuführen.
Häufig gestellte Fragen zum Zuordnen automatisierter Tests
Weitere Informationen finden Sie in den folgenden häufig gestellten Fragen (FAQs).
F: Welche Testtypen werden unterstützt?
A: Für jeden Testtyp sind die folgenden Funktionen und Einschränkungen vorhanden:
| Rahmenwerk | *Verknüpfung in Visual Studio | Verknüpfung in Azure DevOps |
|---|---|---|
| Codierte UI-Tests | Unterstützt | Unterstützt |
| Selen | Unterstützt | Unterstützt |
| MSTest v1/v2 | Unterstützt | Unterstützt |
| NUnit | Unterstützt | Unterstützt |
| xUnit | Unterstützt | Unterstützt |
| Python (PyTest) | Nicht unterstützt | Unterstützt |
| Java (Maven und Gradle) | Nicht unterstützt | Unterstützt |
* Unterstützt in Visual Studio 15.9 Preview 2 oder höher.
Tests, die .NET Core Framework verwenden, können mit einer Testfallarbeitsaufgabe verknüpft werden, wenn Visual Studio 15.9 Preview 2 oder höher verwendet wird. Führen Sie die .NET-Kerntests aus. Das entsprechende Zielframework muss in einer RUNSETTINGS-Datei angegeben werden.
F: Kann ich meine Tests aus meinem GitHub-Repository zuordnen?
A: Solange Sie Ihre automatisierten Tests in Azure Pipelines mit der VSTest-Aufgabe ausführen oder die Testergebnisse mit der PublishTestResults-Aufgabe melden, stehen die automatisierten Tests zur Zuordnung zu Testfällen zur Verfügung. Bitte beachten Sie, dass der Test mindestens einmal ausgeführt werden muss, bevor er für die Zuordnung verfügbar ist.
F: Was sind die Unterschiede, wenn ich noch einen XAML-Build verwende?
A: Wenn Sie einen XAML-Build in Azure Pipelines verwenden, können Sie Tests ausführen, die Sie einem Build-Deploy-Test-Workflow mit einer Lab-Umgebung zugeordnet haben. Sie können auch Tests mit Microsoft Test Manager und einer Lab-Umgebung ausführen.
F: Kann ich Arbeitsaufgaben so konfigurieren, dass sie in Visual Studio geöffnet werden?
A: Ja. Wenn Sie Arbeitsaufgaben testen möchten, die in Visual Studio anstelle der standardmäßigen Azure Pipelines-Benutzeroberfläche in Ihrem Webbrowser geöffnet werden sollen, ändern Sie die Arbeitsaufgaben | Allgemeine Einstellung aus den Tools | Menü "Optionen" in Visual Studio.
