Analysieren von Testergebnissen in Excel

Mit dem Management Tool PowerShell-Befehl können Sie die aggregierte Liste der Testergebnisse für das Projekt generieren. Anschließend können Sie die aggregierten Ergebnisse in Excel analysieren.

Aggregieren Sie die Liste der Testergebnisse

Es gibt zwei Möglichkeiten, die Liste der Testergebnisse für ein Projekt zusammenzufassen.

1. Verwenden der XML-basierten Ausgabedateien. Es wird ein Beispiel dafür gezeigt, wie Sie XML-basierte Testergebnisse aus der Windows PowerShell-Sitzung zusammenführen können, die auf Ihrem Controller oder Testserver geöffnet ist. In beiden Beispielen ist die Verwendung der Datei master.xml optional.

   dir -s "c:\temp\*.xml" | Merge-HwCertTestCollectionFromXml -ValidationXmlPath "C:\temp\master.xml" | Export-HwCertTestCollectionToXml -Output "C:\Temp\merged_1.xml"  -TestPassIdentifier "TP003"
   dir -s "c:\temp\*.xml" | Merge-HwCertTestCollectionFromXml -ValidationXmlPath "C:\temp\master.xml" | Export-HwCertTestCollectionToXml -Output "C:\Temp\merged_2.xml"  -TestPassIdentifier "TP004"
   

2. Verwenden des Projekts, .hlkx-Ausgabedateien. Es wird ein Beispiel dafür gezeigt, wie Sie .hlkx-Ausgabedateien aus der Windows PowerShell-Sitzung zusammenführen können, die auf Ihrem Controller oder Testserver geöffnet ist.

   dir -s "c:\temp\*.hlkx" | Merge-HwCertTestCollectionFromPackage -ValidationXmlPath "C:\temp\master.xml" | Export-HwCertTestCollectionToXml -Output "C:\Temp\merged_1.xml" -TestPassIdentifier "TP003"
   dir -s "c:\temp\*.hlkx" | Merge-HwCertTestCollectionFromPackage -ValidationXmlPath "C:\temp\master.xml" | Export-HwCertTestCollectionToXml -Output "C:\Temp\merged_2.xml" -TestPassIdentifier "TP004"
   

Die aggregierte Liste der Testergebnisse (C:\temp\merged.xml) enthält Informationen für die vollständige Liste der Tests, nicht nur für die gefilterte Liste der Tests. Aus diesem Grund zeigt die aggregierte Liste der Testergebnisse, dass ein erforderlicher Test nicht ausgeführt wurde, wenn einer der erforderlichen Tests nie ausgeführt wurde. Da außerdem alle Testergebnisse zusammengeführt werden, kann das Ausführen mehrerer Testläufe mit demselben TestPassIdentifier-Attributnamenswert zu inkonsistenten Ergebnisberichten führen. Verwenden Sie stattdessen für jeden Testdurchlauf einen anderen Namen.

Generieren Sie eine Excel-Tabelle aus den aggregierten Ergebnissen

Nachdem Sie eine aggregierte Liste von Testergebnissen erstellt haben, können Sie mithilfe von Befehlen in der Windows PowerShell-Sitzung auf dem Controller oder Testserver eine Excel-Tabelle generieren. Ein Beispiel für die Befehle, die den Excel-Tabellenbericht erstellen, ist unten angegeben.

New-HwCertTestCollectionExcelReport ("C:\Temp\merged_1.xml", "C:\Temp\merged_2.xml" ) -ExcelPath 'c:\temp\report.xls' -ResultCount 1 

Dabei ist ResultCount definiert als die maximale Anzahl der neuesten Ergebnisse, die im Excel-Bericht für jeden Test gespeichert werden.

Ein Beispiel für die Ausgabe, die nach dem Ausführen der Befehle zum Erstellen eines Excel-Tabellenberichts erstellt wurde, ist unten dargestellt.

Der resultierende Excel-Bericht enthält die folgenden Überschriften:

• Gesamttest – Die Gesamtzahl der Tests in diesem Testdurchlauf.

• Total Pass – Die Gesamtzahl der Ergebnisse in diesem Testdurchlauf

• Gesamtbestanden mit Filter – Die Gesamtzahl der Durchgänge mit einem auf den Test angewendeten Errata-Filter.

• Total Pass Percentage – Prozentsatz der bestandenen Tests (Total Pass / Total Test).

• Total Fail – Die Gesamtzahl der Fehler in diesem Testdurchlauf (Total Test – Total Pass).

• N-1-Verbesserung - Zwischen diesem Testdurchlauf und dem vorherigen Testdurchlauf (Spalte links), wie viele neue Durchgänge erzielt wurden.

• N-1 Regression – Wie viele neue Fehler wurden zwischen diesem Testdurchlauf und dem vorherigen Testdurchlauf (Spalte links) festgestellt.

• N-1 Nicht geändert – Zwischen diesem Testdurchlauf und dem vorherigen Testdurchlauf (Spalte links), bei wie vielen Tests gab es keine Änderung des Ergebnisergebnisses.

• N-1 nicht verglichen – Zwischen diesem Testdurchlauf und dem vorherigen Testdurchlauf (Spalte links), wie viele Tests nicht verglichen wurden, weil der Test nur in einem der Testdurchläufe verfügbar war.