Verwalten von neuen Testmaßnahmen

Verwenden Sie in Visual Studio 2010 Ultimate oder Visual Studio Test Professional das Testcenter von Microsoft Test Manager, um die Testaktivitäten basierend auf Ihrem Ansatz zu planen. Microsoft Test Manager ist eine neue Anwendung, mit der Sie einen Testplan erstellen, der dem Teamprojekt zugeordnet ist. Im Testplan können Sie definieren, welche Tests für eine bestimmte Iteration ausgeführt werden sollen. Darüber hinaus können Sie Testkonfigurationen erstellen, die die gewünschte Testeinrichtung für die Ausführung der Tests festlegen. Durch Definieren der Tests, die unter bestimmten Testkonfigurationen ausgeführt werden sollen, können Sie den Status nun mithilfe des Testplans ermitteln, sobald Sie mit den Tests beginnen.

Sie können Testfälle für den Testplan erstellen, die sowohl für manuelle als auch für automatisierte Tests verwendet werden können. Sie können alle erforderlichen Informationen für die manuelle Ausführung eines Tests hinzufügen, indem Sie Testschritte mit Aktionen und erwarteten Testergebnissen einfügen. Außerdem können Sie allgemeine Testschritte für andere Tests freigeben, um den Aufwand für die Verwaltung der manuellen Testschritte zu reduzieren.

Wenn Sie diese manuellen Tests mit Microsoft Test Manager ausführen, können Sie Details zu den ausgeführten Aktionen in einem Protokoll und als Aufzeichnung festhalten, die Sie im Anschluss zur Beschleunigung der manuellen Tests nutzen können. Sie können ein Video des Desktops aufzeichnen, eine Momentaufnahme erstellen und Kommentare zu den Testergebnissen hinzufügen. Beim Ausführen eines Tests können Sie zudem weitere Diagnoseinformationen erfassen und als Teil des Testergebnisses speichern. Sie können bei Bedarf Fehler erstellen, wenn Sie die Tests ausführen, und einem Fehler automatisch alle erfassten Daten hinzufügen.

Microsoft Visual Studio 2010 ermöglicht Ihnen, verschiedene Arten von automatisierten Tests zu erstellen. Erstellen Sie Komponententests, um einzelne Methoden im Code zu testen, Tests der codierten UI, um die Benutzeroberfläche zu testen, generische Tests, mit denen API-Methoden aufgerufen werden, und Auslastungstests, um die Leistung der Anwendung bei verschiedenen Auslastungen zu prüfen. Sie können den Testfällen automatisierte Tests zuordnen, damit diese im Rahmen des Testplans ausgeführt werden.

Nachdem Sie die Tests ausgeführt haben, können Sie einen Statusbericht erstellen. Bei der Verwendung von Testplänen zum Strukturieren des Testansatzes erhalten Sie Antworten auf die folgenden Fragen:

• Wie viele Tests wurden bestanden oder sind fehlgeschlagen?

• Wie viele Tests müssen für diese Iteration noch ausgeführt werden?

• Wann sind die Tests abgeschlossen?

• Welche Bereiche des Produkts weisen hohe Fehlerraten auf?

• Welche Testkonfigurationen weisen hohe Fehlerraten auf?

• Welcher Benutzer weist die höchste Anzahl verbleibender Tests auf?

• Können Ressourcen neu zugeordnet werden, um die Auslastung für die verbleibenden Tests besser zu verteilen?

• Welchen Build sollten die Tester auf Grundlage von Codeänderungen und Fehlerkorrekturen verwenden?

Weitere Informationen zu Strategien für Tests finden Sie unter Frühes und häufiges Testen.

Erste Schritte bei der Testfallverwaltung

Um Software zu testen, planen Sie zunächst die Teststrategie. Führen Sie anschließend die Tests aus, und senden Sie alle Fehler, die Sie erkannt haben. Überprüfen Sie dann den Status, und entscheiden Sie, ob Sie die Tests erneut ausführen, Fehlerkorrekturen überprüfen, weitere Testfälle hinzufügen, Testkonfigurationen hinzufügen oder die Tests für die aktuelle Iteration abschließen. Die folgenden Schritte sind hilfreich, wenn Sie mit der Verwendung von Microsoft Test Manager beginnen.

• Herstellen einer Verbindung mit dem Teamprojekt

• Planen der Testaktivitäten

• Ausführen der Tests

• Nachverfolgen des Status

Verbinden

Sie müssen zunächst mithilfe von Microsoft Test Manager eine Verbindung mit Team Foundation Server und dem Teamprojekt herstellen. Das Teamprojekt entspricht dem Projekt, das zum Hinzufügen von Anforderungen für die Anwendung, Verwalten des Quellcodes und Erstellen der zu testenden Anwendung verwendet wurde. Die Testartefakte werden in diesem Teamprojekt erstellt und verwaltet. Darüber hinaus werden die Testergebnisse diesem Teamprojekt zugeordnet. Wenn Sie eine Verbindung mit diesem Projekt hergestellt haben, können Sie einen Testplan in dem Projekt erstellen, der zum Planen der Tests dient.

Die folgende Abbildung zeigt, wie Sie eine Verbindung mit dem Teamprojekt herstellen.

Tipp

Es werden nur die Teamprojekte angezeigt, für die Sie die Berechtigung zum Zugreifen haben. Weitere Informationen zu Berechtigungen finden Sie unter Team Foundation Server-Berechtigungen.

Weitere Informationen finden Sie unter Gewusst wie: Erstmaliges Herstellen einer Verbindung mit einem Teamprojekt aus dem Microsoft Test-Manager.

Plan

Sie müssen die Testaktivitäten mithilfe eines Testplans in Microsoft Test Manager definieren. Dieser Plan kann abhängig vom Projekt sehr einfach oder sehr komplex sein. Der Testplan versetzt Sie in die Lage, die auszuführenden Tests auszuwählen und den Teststatus zu messen.

Sie können zudem Testkonfigurationen angeben, um die Software oder Hardware zu definieren, die Sie zum Ausführen der Tests im Plan verwenden möchten. Anschließend erstellen Sie eine Testsammlungshierarchie in dem Plan. Hierbei kann es sich um eine Testsammlung mit allen Testfällen handeln, Sie können mithilfe der Testsammlungshierarchie jedoch auch eine Struktur zum Gruppieren der Testfälle bereitstellen. Diese Struktur beinhaltet eine Gruppierung basierend auf den Anforderungen oder basierend auf den Benutzertextabschnitten im Teamprojekt. Fügen Sie abschließend manuelle Testfälle mit Aktions- und Validierungsschritten oder automatisierte Tests zu der Testsammlung hinzu.

Die folgende Abbildung zeigt die Testartefakte im Testplan.

Die folgenden Themen unterstützen Sie beim Planen von Testaktivitäten:

Aufgaben	Verwandte Themen
Planen der Konfigurationsmatrix für die Ausführung der Tests: Sie können Testkonfigurationen erstellen, um die Software oder Hardware für die Ausführung der Tests zu definieren. Sie können die Standardkonfigurationen für den Plan sowie die Tests angeben, die auf den jeweiligen Konfigurationen ausgeführt werden sollen.	Definieren der Testmatrix mit Testkonfigurationen
Erstellen des Plans: Sie müssen einen Plan für die Tests erstellen und die Testkonfigurationen hinzufügen, die Sie als Standardkonfigurationen verwenden möchten.	Gewusst wie: Erstellen eines Testplans Gewusst wie: Verwenden eines anderen Testplans
Hinzufügen von Testsammlungen und Testfälle zum Plan: Sie können Testsammlungen erstellen, um Testfälle zu gruppieren. Testsammlungen können auf Grundlage von Anforderungen oder Benutzertextabschnitten erstellt werden. Darüber hinaus können Sie zum Erstellen von Testsammlungen vorhandenen Testfälle auswählen oder neue Testfälle hinzufügen. Anschließend können Sie diesen Testfällen manuelle Testschritte hinzufügen. Sie können den Testfällen zudem automatisierte Tests zuordnen, sodass diese von einem Plan aus ausgeführt werden können.	Gewusst wie: Erstellen und Verwalten von abfragebasierten Testsuites Gewusst wie: Hinzufügen eines Testfalls zu einer Testsammlung Erstellen von manuellen Testfällen Erstellen von automatisierten Tests
Importieren von Testsammlungen aus einem anderen Testplan: Sie können Testsammlungen aus einem vorhandenen Testplan importieren, wenn Sie die gleichen Testsammlungen in einem anderen Testplan benötigen.	Gewusst wie: Kopieren von Testsammlungen aus einem anderen Testplan
Zuweisen der Ausführung der Tests zu einer Person: Sie können die Tests im Testplan einem bestimmten Tester in Ihrem Team zuweisen. Standardmäßig werden die Tests den Besitzern der Testfälle zugewiesen. Sie können diese Zuweisung jedoch ändern.	Gewusst wie: Zuweisen der Ausführung der Tests an eine Person in einem Testplan
Planen der für die Tests erforderlichen Einrichtung: Sie können planen, welche Umgebungen und Testeinstellungen für die Ausführung der Tests benötigt werden. Dies können sowohl physische als auch virtuelle Umgebungen sein.	Einrichten von Testcomputern zum Ausführen von Tests oder Sammeln von Daten

Test

Wenn Sie den Plan erstellt haben und ein Build der zu testenden Anwendung vorhanden ist, können Sie mit der Ausführung der Tests beginnen. Wählen Sie den für die Tests zu verwendenden Build aus. Die Kombinationen aus Testkonfigurationen und Testsammlungen, die Sie im Testplan erstellt haben, können nun ausgeführt werden, wie in der folgenden Abbildung gezeigt.

Manuelle Tests werden lokal unter Verwendung von Test Runner ausgeführt, sodass Sie das Ergebnis jedes Testschritts aufzeichnen und die Ergebnisse des Tests bei jeder Ausführung speichern können.

Verwenden Sie Microsoft Test Manager, um Testeinstellungen mit Angaben zur Testausführung festzulegen und die bei der Testausführung zu erfassenden Daten und Diagnoseinformationen auszuwählen. Sie können Daten und Diagnoseinformationen lokal oder remote mithilfe von Testumgebungen erfassen. Beim Ausführen der Tests können Sie diese Daten und Diagnoseinformationen zusammen mit den Ergebnissen speichern und bei Bedarf zum Erstellen detaillierter Fehler verwenden.

In der Regel verwenden Sie zum Testen einer komplexeren Anwendung eine Umgebung. Eine Umgebung besteht aus einem Satz von Rollen. Eine Rolle gibt den Zweck eines Computers in der Umgebung an. Eine Rolle könnte beispielsweise die Bezeichnung "Website für Kundendatenspeicher" haben.

Die Umgebung ermöglicht es Ihnen, Tests auszuführen, Daten zu erfassen oder Systemaktionen auf Computern für jede einzelne Rolle auszuführen. Ein Computer kann ein physischer Computer oder ein virtueller Computer sein. Sie können z. B. die Tests auf einem Computer ausführen und Systeminformationen zu einem Computer erfassen, auf dem der Webserver für Ihre Anwendung installiert ist. Alternativ können Sie die Tests in einer Umgebung ausführen, die mehrere Computer verwendet, und Daten zu den Auswirkungen des Tests auf diese Computer erfassen. Anschließend können Sie eine Netzwerkemulation auf dem Computer ausführen, auf dem der Webclient für Ihre Anwendung läuft.

In der folgenden Abbildung werden drei Beispielszenarios zum Festlegen von Testeinstellungen mit einem Testplan für die Ausführung der Tests gezeigt.

Die folgenden Themen unterstützen Sie beim Ausführen von Tests:

Aufgaben	Verwandte Themen
Einrichten von Testcomputern zum Ausführen von Tests oder Sammeln von Daten: Sie können Testeinstellungen erstellen, um die erforderlichen Rollen für die zu testende Anwendung zu definieren und um festzulegen, wie Daten und Diagnoseinformationen für jede Rolle erfasst werden. Verwenden Sie entweder eine physische oder eine virtuelle Umgebung, die die Rollen in den Testeinstellungen enthält, um die bei der Ausführung der Tests verwendeten Computer zuzuweisen. Sie benötigen einen Testcontroller, um physische und virtuelle Umgebungen zu erstellen. Virtuelle Umgebungen können Sie nur mit Visual Studio Lab Management erstellen.	Einrichten von Testcomputern zum Ausführen von Tests oder Sammeln von Daten Verwenden eines virtuellen Labs für den Anwendungslebenszyklus
Ausführen von manuellen Tests in einem Testplan: Sie können manuelle Tests im Testplan mit Test Runner ausführen, um aufzuzeichnen, ob die einzelnen Testschritte erfolgreich ausgeführt wurden oder fehlgeschlagen sind. Das Testergebnis und alle beim Ausführen des Tests gesammelten Daten können gespeichert werden.	Ausführen von manuellen Tests mit Test Runner
Beschleunigen von manuellen Tests: Sie können die UI-Aktionen aufzeichnen, die Sie beim Ausführen eines manuellen Tests durchführen. Wenn Sie erneut den Test ausführen, können Sie mit der Aktionsaufzeichnung den Vorgang beschleunigen, indem Sie die Aktionsaufzeichnung bis zu dem Testschritt wiedergeben, der zum Überprüfen eines Fehlers ausgeführt werden muss.	Aufzeichnen und Wiedergeben von manuellen Tests
Ausführen automatisierter Tests: Sie können Tests direkt in Microsoft Visual Studio 2010 von Team Build aus oder von der Befehlszeile aus ausführen. Sie können in Microsoft Visual Studio 2010 einem Testfall einen automatisierten Test zuordnen und diesen Testfall als Teil des Testplans mit Microsoft Test Manager ausführen, sodass die Testergebnisse der automatisierten Tests zusammen mit manuellen Tests verfolgt werden können.	Ausführen von automatisierten Tests Grundlagenhandbuch zum Ausführen von automatisierter Tests anhand eines Testplans Gewusst wie: Konfigurieren und Ausführen von geplanten Tests nach dem Erstellen der Anwendung Ausführen von automatisierten Tests über die Befehlszeile
Analysieren von Testergebnissen: Sie können die Testergebnisse für automatisierte Tests auf Grundlage eines bestimmten Testlaufs analysieren. Sie können Fehler auf Grundlage der Ergebnisse einordnen. Zudem können Sie die Codeabdeckungsergebnisse überprüfen und sicherstellen, dass die Tests einen möglichst großen Bereich der Anwendung testen.	Überprüfen von Testergebnissen Analysieren von Codeabdeckungsergebnissen
Ausführen von explorativen Tests: Wenn Sie explorative Tests ohne spezifische Testschritte ausführen möchten, können Sie einen Testfall mit einem einzelnen explorativen Schritt erstellen. Verwenden Sie anschließend diesen Testfall, um die Funktionen der Anwendung zu überprüfen und Daten zu den getesteten Komponenten in einem Aktionsprotokoll und einer Videoaufzeichnung festzuhalten. Sie können auch explorative Fehler protokollieren und einen bestimmten Abschnitt des Aktionsprotokolls auswählen, der im Fehler unter Berücksichtigung der verstrichenen Zeit verwendet werden soll.	Gewusst wie: Senden eines explorativen Fehlers mit Test Runner Gewusst wie: Verwenden aufgezeichneter Aktionen zum Erstellen von Testfällen Erstellen von manuellen Testfällen Erstellen von Testeinstellungen für manuelle Tests

Nachverfolgen

Sie können die im Testplan definierten Testaktivitäten ab sofort nachverfolgen. Überprüfen Sie, ob für den Plan weitere Builds vorhanden sind, und zeigen Sie die empfohlenen Tests für diese Builds basierend auf Codeänderungen an. Sie können Standardberichte oder benutzerdefinierte Abfragen ausführen, um die Qualität der zu testenden Anwendung zu verfolgen.

Die folgenden Themen unterstützen Sie beim Nachverfolgen von Testaktivitäten:

Hauptaufgaben	Verwandte Themen
Anzeigen von Berichten zum Nachverfolgen des Teststatus: Sie können Berichte zur Testfallbereitschaft und zum Teststatus für den Testplan anzeigen.	Erstellen von Berichten zum Testfortschritt von Testplänen
Suchen von zu wiederholenden Tests basierend auf Codeänderungen: Sie können Builds vergleichen und anhand von Änderungen an der getesteten Anwendung ermitteln, welche Tests wiederholt werden sollten.	Empfohlene auszuführende Tests, die von Codeänderungen betroffen sind Bestimmen, welche Builds Fehlerkorrekturen, neue Funktionen oder Anforderungen aufweisen
Selektieren von Fehlern: Sie können die Fehler überprüfen und die nächsten Schritte für den Fehler festlegen. Zudem können Sie Fehler bei Bedarf neu zuweisen.	Gewusst wie: Verfolgen von Fehlern How to: Create and Manage Queries for Searching
Verwenden von standardmäßigen und benutzerdefinierten Abfragen für die Berichterstellung: Sie können mithilfe von vorhandenen Abfragen Berichte zu Testfällen und Fehlern erstellen. Zudem können Sie benutzerdefinierte Abfragen für Berichterstellungszwecke erstellen.	Gewusst wie: Suchen nach Testfällen mit Microsoft Test-Manager Gewusst wie: Verfolgen von Fehlern How to: Create and Manage Queries for Searching

Siehe auch

Konzepte

Testen der Anwendung