Schnellstart: Einrichten kontinuierlicher End-to-End-Tests mit der Vorschauversion von Microsoft Playwright Testing

In diesem Schnellstart richten Sie kontinuierliche End-to-End-Tests mit der Vorschauversion von Microsoft Playwright Testing ein, um zu überprüfen, ob Ihre Web-App in verschiedenen Browsern und Betriebssystemen mit jedem Codecommit ordnungsgemäß ausgeführt wird, und um Probleme bei den Tests mithilfe des Dienst-Dashboards ganz einfach zu beheben. Erfahren Sie, wie Sie Ihre Playwright-Tests einem CI-Workflow (Continuous Integration) hinzufügen, z. B. GitHub Actions, Azure-Pipelines oder anderen CI-Plattformen.

Nachdem Sie diesen Schnellstart abgeschlossen haben, verfügen Sie über einen CI-Workflow mit Microsoft Playwright Testing, der Ihre Playwright-Testsammlung im großen Stil ausführt und Ihnen bei der Problembehandlung mit Tests hilft.

Wichtig

Microsoft Playwright Testing befindet sich derzeit in der Vorschauversion. Die zusätzlichen Nutzungsbestimmungen für Microsoft Azure-Vorschauen enthalten rechtliche Bedingungen. Sie gelten für diejenigen Azure-Features, die sich in der Beta- oder Vorschauversion befinden oder aber anderweitig noch nicht zur allgemeinen Verfügbarkeit freigegeben sind.

Voraussetzungen

• Ein Azure-Konto mit einem aktiven Abonnement. Wenn Sie kein Azure-Abonnement besitzen, können Sie ein kostenloses Konto erstellen, bevor Sie beginnen.

• Ein Microsoft Playwright Testing-Arbeitsbereich. Schließen Sie den Schnellstart: Playwright-Tests im großen Stil ausführen ab, und erstellen Sie einen Arbeitsbereich.

GitHub Actions

• Ein GitHub-Konto. Falls Sie kein GitHub-Konto besitzen, können Sie kostenlos eines erstellen.
• Ein GitHub-Repository, das Ihre Playwright-Testspezifikationen und GitHub Actions-Workflow enthält. Informationen zum Erstellen eines Repositorys finden Sie unter Erstellen eines neuen Repositorys.
• Ein GitHub Actions-Workflow. Informationen zu den ersten Schritten mit GitHub Actions finden Sie bei Bedarf unter Erstellen Ihres ersten Workflows
• Richten Sie die Authentifizierung von GitHub Actions zu Azure ein. Weitere Informationen finden Sie unter Verwenden von GitHub Actions zum Herstellen einer Verbindung mit Azure.

Azure Pipelines

• Eine Azure DevOps-Organisation und ein entsprechendes Projekt. Falls Sie über keine Azure DevOps-Organisation verfügen, können Sie kostenlos eine erstellen.
• Eine Pipelinedefinition. Informationen zu den ersten Schritten mit Azure Pipelines finden Sie bei Bedarf unter Erstellen Ihrer ersten Pipeline.
• Weitere Informationen zur Verwendung von Azure Resource Manager-Dienstverbindungen zum sicheren Authentifizieren beim Dienst über Azure Pipelines finden Sie unter Azure Resource Manager-Dienstverbindung.

Abrufen der Endpunkt-URL für die Dienstregion

In der Dienstkonfiguration müssen Sie den regionsspezifischen Dienstendpunkt bereitstellen. Der Endpunkt hängt von der Azure-Region ab, die Sie beim Erstellen des Arbeitsbereichs ausgewählt haben.

Führen Sie die folgenden Schritte aus, um die Dienstendpunkt-URL zu erhalten und sie als CI-Workflow-Geheimnis zu speichern:

1. Melden Sie sich mit Ihrem Azure-Konto beim Playwright-Portal an.

2. Wählen Sie auf der Startseite des Arbeitsbereichs die Option Setup-Handbuch anzeigen aus.

   Tipp

   Wenn Sie über mehrere Arbeitsbereiche verfügen, können Sie zu einem anderen Arbeitsbereich wechseln, indem Sie den Namen des Arbeitsbereichs oben auf der Seite und dann Alle Arbeitsbereiche verwalten auswählen.

3. Kopieren Sie unter Endpunkt der Region in Ihrem Setup hinzufügen die URL des Dienstes.

   Die Endpunkt-URL entspricht der Azure-Region, die Sie beim Erstellen des Arbeitsbereichs ausgewählt haben.

4. Speichern Sie die Dienstendpunkt-URL in einem CI-Workflow-Geheimnis:

   Geheimnisname	Wert
   PLAYWRIGHT_SERVICE_URL	Fügen Sie die Endpunkt-URL ein, die Sie zuvor kopiert haben.

Dienstkonfigurationsdatei hinzufügen

Wenn Sie keine Playwright-Tests für die Ausführung mit Service konfiguriert haben, fügen Sie eine Konfigurationsdatei für den Dienst zu Ihrem Repository hinzu. Im nächsten Schritt geben Sie diese Dienstkonfigurationsdatei in der Playwright CLI an.

1. Erstellen Sie neben der playwright.config.ts-Datei eine neue Datei playwright.service.config.ts.

   Optional können Sie die Datei playwright.service.config.ts im Beispielrepository verwenden.

2. Fügen Sie folgenden Inhalt hinzu:

   import { defineConfig } from '@playwright/test';
   import { getServiceConfig, ServiceOS } from '@azure/microsoft-playwright-testing';
   import config from './playwright.config';
   
   /* Learn more about service configuration at https://aka.ms/mpt/config */
   export default defineConfig(
     config,
     getServiceConfig(config, {
       exposeNetwork: '<loopback>',
       timeout: 30000,
       os: ServiceOS.LINUX,
       useCloudHostedBrowsers: true
     }),
     {
       /* 
       Playwright Testing service reporter is added by default.
       This will override any reporter options specified in the base playwright config.
       If you are using more reporters, please update your configuration accordingly.
       */
       reporter: [['list'], ['@azure/microsoft-playwright-testing/reporter']],
     }
   );
   

   Standardmäßig ermöglicht Ihnen die Dienstkonfiguration Folgendes:

   • Beschleunigen Sie Buildpipelines, indem Sie Tests parallel mit in der Cloud gehosteten Browsern ausführen.
   • Vereinfachen Sie die Problembehandlung durch einfachen Zugriff auf Testergebnisse und Artefakte, die im Dienst veröffentlicht wurden.

   Sie können jedoch eine dieser Funktionen oder beide verwenden. Unter Verwendung der Dienstfunktionen erfahren Sie, wie Sie die Dienstkonfigurationsdatei gemäß Ihren Anforderungen aktualisieren können.

3. Speichern Sie die Datei, und führen Sie einen Commit für die Datei in Ihr Quellcode-Repository durch.

Aktualisieren der Datei „package.json“

Aktualisieren Sie die Datei package.json in Ihrem Repository, um Details zum Microsoft Playwright Testing-Dienstpaket im Abschnitt devDependencies hinzuzufügen.

"devDependencies": {
    "@azure/microsoft-playwright-testing": "^1.0.0-beta.6"
}

Aktivieren von Artefakten in der Playwright-Konfiguration

Stellen Sie in der playwright.config.ts-Datei Ihres Projekts sicher, dass Sie alle erforderlichen Artefakte sammeln.

  use: {
    trace: 'on-first-retry',
    video:'retain-on-failure',
    screenshot:'on'
  },

Einrichten der Dienstkonfiguration

1. Erstellen Sie eine neue PlaywrightServiceSetup.cs-Datei im Stammverzeichnis Ihres Projekts. Diese Datei erleichtert die Authentifizierung Ihres Clients mit dem Dienst.

2. Fügen Sie folgenden Inhalt hinzu:

   using Azure.Developer.MicrosoftPlaywrightTesting.NUnit;
   using NUnit.Framework;
   
   namespace PlaywrightTests; // Remember to change this as per your project namespace
   
   [SetUpFixture]
   public class PlaywrightServiceSetup : PlaywrightServiceNUnit { };
   

3. Speichern Sie die Datei, und führen Sie einen Commit für die Datei in Ihr Quellcode-Repository durch.

Installieren des Dienstpakets

Installieren Sie in Ihrem Projekt das Microsoft Playwright Testing-Paket.

dotnet add package Azure.Developer.MicrosoftPlaywrightTesting.NUnit --prerelease

Durch diesen Befehl wird die Datei „csproj“ Ihres Projekts aktualisiert, indem im Abschnitt „ItemGroup“ die Dienstpaketdetails hinzugefügt werden. Denken Sie daran, diese Änderungen zu committen.

  <ItemGroup>
    <PackageReference Include="Azure.Developer.MicrosoftPlaywrightTesting.NUnit" Version="1.0.0-beta.2" />
  </ItemGroup>

Fügen Sie eine .runsettings-Datei für Ihr Projekt hinzu oder aktualisieren Sie sie.

Wenn Sie Ihre Playwright-Tests noch nicht für die Ausführung mit dem Dienst konfiguriert haben, fügen Sie Ihrem Repository eine .runsettings-Datei hinzu. Im nächsten Schritt geben Sie diese Dienstkonfigurationsdatei in der Playwright CLI an.

1. Erstellen Sie eine neue Datei vom Typ .runsettings.

   Optional können Sie die Datei .runsettings im Beispielrepository verwenden.

2. Fügen Sie folgenden Inhalt hinzu:

   <?xml version="1.0" encoding="utf-8"?>
   <RunSettings>
       <TestRunParameters>
           <!-- The below parameters are optional -->
           <Parameter name="Os" value="linux" />
           <!--<Parameter name="RunId" value="sample-run-id1" />-->
           <Parameter name="ServiceAuthType" value="EntraId" />
           <Parameter name="UseCloudHostedBrowsers" value="true" />
           <Parameter name="AzureTokenCredentialType" value="DefaultAzureCredential" />
           <!--<Parameter name="ManagedIdentityClientId" value="{clientId-value}" />-->
           <Parameter name="EnableGitHubSummary" value="false" />
           <!--<Parameter name="ExposeNetwork" value="*" />-->
       </TestRunParameters>
     <!-- NUnit adapter -->  
     <NUnit>
       <!-- Adjust parallel workers, parallel worker would also be bound by number of unit test files -->
       <NumberOfTestWorkers>10</NumberOfTestWorkers>
     </NUnit>
     <!-- General run configuration -->
     <RunConfiguration>
       <EnvironmentVariables>
         <!-- For debugging selectors, it's recommend to set the following environment variable -->
           <!--<DEBUG>pw:api*</DEBUG>--> 
       </EnvironmentVariables>
     </RunConfiguration>
     <!-- Playwright -->  
     <Playwright>
       <BrowserName>chromium</BrowserName>
       <ExpectTimeout>5000</ExpectTimeout>
       <LaunchOptions>
         <Headless>false</Headless>
         <!--Channel>msedge</Channel-->
       </LaunchOptions>
     </Playwright>
       <LoggerRunSettings>
           <Loggers>
               <!--microsoft playwright testing service logger for reporting -->
               <Logger friendlyName="microsoft-playwright-testing" enabled="True" />
               <!--could enable any logger additionally -->
               <Logger friendlyName="trx" enabled="false" />
           </Loggers>
       </LoggerRunSettings>
   </RunSettings>
   

   Die Einstellungen in dieser Datei ermöglichen Folgendes:

   • Beschleunigen Sie Buildpipelines, indem Sie Tests parallel mit in der Cloud gehosteten Browsern ausführen.
   • Veröffentlichen Sie Testergebnisse und Artefakte für eine schnellere Problembehandlung im Dienst.

   Sie können jedoch eine dieser Funktionen oder beide verwenden. Unter Verwendung der Dienstfunktionen erfahren Sie, wie Sie die Dienstkonfigurationsdatei gemäß Ihren Anforderungen aktualisieren können.

3. Speichern Sie die Datei, und führen Sie einen Commit für die Datei in Ihr Quellcode-Repository durch.

Aktivieren von Artefakten in Ihrem Playwright-Setup

Richten Sie Playwright ein, um Artefakte wie Screenshot, Videos und Ablaufverfolgungen zu erfassen.

• Screenshots finden Sie unter Screenshots aufnehmen
• Videos finden Sie unter Aufzeichnen von Videos für Ihre Tests
• Ablaufverfolgungen finden Sie unter Aufzeichnen einer Ablaufverfolgung

Sobald Sie diese Artefakte gesammelt haben, fügen Sie sie an TestContext an, um sicherzustellen, dass sie in Ihren Testberichten verfügbar sind. Weitere Informationen finden Sie in unserem Beispielprojekt für NUnit.

Authentifizierung einrichten

Der CI-Computer, auf dem Playwright-Tests ausgeführt werden, muss sich beim Playwright Testing-Dienst authentifizieren, um die Browser zum Ausführen der Tests zu erhalten und die Testergebnisse und Artefakte zu veröffentlichen.

Der Dienst bietet zwei Authentifizierungsmethoden: Microsoft Entra ID und Zugriffstoken. Es wird dringend empfohlen, Microsoft Entra ID zur Authentifizierung Ihrer Pipelines zu verwenden.

Einrichten der Authentifizierung mithilfe von Microsoft Entra ID

GitHub Actions

Wenn Sie GitHub Actions verwenden, können Sie mithilfe von GitHub OpenID Connect eine Verbindung mit dem Dienst herstellen. Befolgen Sie die Schritte, um die Integration einzurichten:

Voraussetzungen

Option 1: Microsoft Entra-Anwendung

• Erstellen Sie eine Microsoft Entra-Anwendung mit einem Dienstprinzipal im Azure-Portal, mit Azure CLI oder Azure PowerShell.

• Kopieren Sie die Werte für Client-ID, Abonnement-ID, und Verzeichnis-ID (Mandanten-ID), um sie später in Ihrem GitHub Actions-Workflow zu verwenden.

• Weisen Sie dem Dienstprinzipal, der im vorherigen Schritt erstellt wurde, die Rolle Owner oder Contributor zu. Diese Rollen müssen im Arbeitsbereich „Playwright Testing“ zugewiesen werden. Weitere Informationen finden Sie unter Verwalten des Zugriffs.

• Konfigurieren Sie Verbundidentitäts-Anmeldeinformationen für eine Microsoft Entra-Anwendung, um Token zu vertrauen, die von GitHub Actions an Ihr GitHub-Repository ausgestellt wurden.

Option 2: Benutzerseitig zugewiesene verwaltete Identität

• Erstellen einer benutzerseitig zugewiesenen verwalteten Identität.

• Kopieren Sie die Werte für Client-ID, Abonnement-ID, und Verzeichnis-ID (Mandanten-ID), um sie später in Ihrem GitHub Actions-Workflow zu verwenden.

• Weisen Sie die Rolle Owner oder Contributor der im vorherigen Schritt erstellten benutzerseitig zugewiesenen verwalteten Identität zu. Diese Rollen müssen im Arbeitsbereich „Playwright Testing“ zugewiesen werden. Weitere Informationen finden Sie unter Verwalten des Zugriffs.

• Konfigurieren Sie Verbundidentitäts-Anmeldeinformationen für eine benutzerseitig zugewiesene verwaltete Identität, um Token zu vertrauen, die von GitHub Actions an Ihr GitHub-Repository ausgegeben werden.

Erstellen von GitHub-Geheimnissen

• Fügen Sie die Werte hinzu, die Sie im vorherigen Schritt erhalten haben als Geheimnisse zu Ihrem GitHub-Repository hinzu. Siehe Einrichten des GitHub Actions-Geheimnisses. Diese Variablen werden in nachfolgenden Schritten des GitHub Action-Workflows verwendet.

GitHub-Geheimnis	Quelle (Microsoft Entra-Anwendung oder verwaltete Identität)
AZURE_CLIENT_ID	Client-ID
AZURE_SUBSCRIPTION_ID	Abonnement-ID
AZURE_TENANT_ID	Verzeichnis-ID (Mandant)

Hinweis

Für erhöhte Sicherheit wird dringend empfohlen, GitHub-Geheimnisse zu verwenden, um vertrauliche Werte zu speichern, anstatt sie direkt in Ihre Workflowdatei einzulagern.

Azure Pipelines

Wenn Sie Azure Pipelines verwenden, können Sie mithilfe von Service Connections eine Verbindung mit dem Dienst herstellen. Befolgen Sie die Schritte, um die Integration einzurichten:

• Erstellen Sie eine App-Registrierung mit dem Workload-Identitätsverbund. Wählen Sie die Abonnement- und Ressourcengruppe aus, die Ihrem Playwright Testing-Arbeitsbereich zugeordnet ist. In der Regel hat die Ressourcengruppe denselben Namen wie der Playwright Testing-Arbeitsbereich.

• Verwenden Sie diese Dienstverbindung in der YAML-Datei von Azure Pipeline, wie in den nachfolgenden Schritten gezeigt.

Einrichten der Authentifizierung mithilfe von Zugriffstoken

Achtung

Es wird dringend empfohlen, Microsoft Entra ID für die Authentifizierung bei dem Dienst zu verwenden. Für die Verwendung von Zugriffstoken finden Sie weitere Information unter Verwalten von Zugriffstoken.

Alternativ können Sie ein Zugriffstoken in Ihrem Playwright Testing-Arbeitsbereich generieren und es in Ihrem Setup verwenden. Aufgrund der erhöhten Sicherheit empfehlen wir jedoch dringend Microsoft Entra ID für die Authentifizierung. Zugriffstoken sind zwar praktisch, funktionieren jedoch wie langlebige Kennwörter und sind anfälliger für Kompromittierungen.

1. Die Authentifizierung mithilfe von Zugriffstoken ist standardmäßig deaktiviert. Zur Verwendung aktivieren Sie die tokenbasierte Authentifizierung.

2. Richten Sie die Authentifizierung mithilfe von Zugriffstoken ein.

3. Speichern Sie das Zugriffstoken in einem CI-Workflowgeheimnis, und verwenden Sie es im GitHub Actions-Workflow oder in der Azure Pipeline-YAML-Datei.

Geheimnisname	Wert
PLAYWRIGHT_SERVICE_ACCESS_TOKEN	Fügen Sie den Wert des zuvor erstellten Zugriffstokens ein.

Aktualisieren der Workflow-Definition

Aktualisieren Sie die CI-Workflowdefinition, um Ihre Playwright-Tests mit der Playwright CLI auszuführen. Übergeben Sie die Dienstkonfigurationsdatei als Eingabeparameter für die Playwright CLI. Sie konfigurieren Ihre Umgebung, indem Sie Umgebungsvariablen angeben.

1. Öffnen der CI-Workflowdefinition

2. Fügen Sie die folgenden Schritte hinzu, um Ihre Playwright-Tests in Microsoft Playwright Testing auszuführen.

   In den folgenden Schritten werden die Workflow-Änderungen für GitHub Actions oder Azure Pipelines beschrieben. Ebenso können Sie Ihre Playwright-Tests mit der Playwright CLI auf anderen CI-Plattformen ausführen.

   GitHub-Aktionen

   
     # This step is to sign-in to Azure to run tests from GitHub Action workflow. 
     # Choose how to set up authentication to Azure from GitHub Actions. This is one example. 
     name: Playwright Tests (Microsoft Playwright Testing)
     on:
       push:
         branches: [main, master]
       pull_request:
         branches: [main, master]
   
     permissions: # Required when using Microsoft Entra ID to authenticate
       id-token: write
       contents: read
   
     jobs:
       test:
         timeout-minutes: 60
         runs-on: ubuntu-latest
         steps:
           - uses: actions/checkout@v4
   
           - name: Login to Azure with AzPowershell (enableAzPSSession true)
             uses: azure/login@v2
             with:
               client-id: ${{ secrets.AZURE_CLIENT_ID }} # GitHub Open ID connect values copied in previous steps
               tenant-id: ${{ secrets.AZURE_TENANT_ID }}
               subscription-id: ${{ secrets.AZURE_SUBSCRIPTION_ID }}
               enable-AzPSSession: true
   
           - name: Install dependencies
             working-directory: path/to/playwright/folder # update accordingly
             run: npm ci
   
           - name: Run Playwright tests
             working-directory: path/to/playwright/folder # update accordingly
             env:
               # Regional endpoint for Microsoft Playwright Testing
               PLAYWRIGHT_SERVICE_URL: ${{ secrets.PLAYWRIGHT_SERVICE_URL }}
               # PLAYWRIGHT_SERVICE_ACCESS_TOKEN: ${{ secrets.PLAYWRIGHT_SERVICE_ACCESS_TOKEN }} # Not recommended, use Microsoft Entra ID authentication. 
             run: npx playwright test -c playwright.service.config.ts --workers=20
   
           - name: Upload Playwright report
             uses: actions/upload-artifact@v3
             if: always()
             with:
               name: playwright-report
               path: path/to/playwright/folder/playwright-report/ # update accordingly
               retention-days: 10
   

   Azure Pipelines

   - task: PowerShell@2
     enabled: true
     displayName: "Install dependencies"
     inputs:
       targetType: 'inline'
       script: 'npm ci'
       workingDirectory: path/to/playwright/folder # update accordingly
   
   - task: AzureCLI@2
     displayName: Run Playwright Test  
       env:
       PLAYWRIGHT_SERVICE_URL: $(PLAYWRIGHT_SERVICE_URL)
       # PLAYWRIGHT_SERVICE_ACCESS_TOKEN: $(PLAYWRIGHT_SERVICE_ACCESS_TOKEN) # Not recommended, use Microsoft Entra ID authentication. 
   
     inputs:
       azureSubscription: My_Service_Connection # Service connection used to authenticate this pipeline with Azure to use the service
       scriptType: 'pscore'
       scriptLocation: 'inlineScript'
       inlineScript: |
         npx playwright test -c playwright.service.config.ts --workers=20
     addSpnToEnvironment: true
     workingDirectory: path/to/playwright/folder # update accordingly
   
   - task: PublishPipelineArtifact@1
     displayName: Upload Playwright report
     inputs:
       targetPath: path/to/playwright/folder/playwright-report/ # update accordingly
       artifact: 'Playwright tests'
       publishLocation: 'pipeline'
   

Aktualisieren Sie die CI-Workflowdefinition, um Ihre Playwright-Tests mit der Playwright NUnit CLI auszuführen. Übergeben Sie die .runsettings Datei als Eingabeparameter für die Playwright CLI. Sie konfigurieren Ihre Umgebung, indem Sie Umgebungsvariablen angeben.

1. Öffnen der CI-Workflowdefinition.

2. Fügen Sie die folgenden Schritte hinzu, um Ihre Playwright-Tests in Microsoft Playwright Testing auszuführen.

   In den folgenden Schritten werden die Workflow-Änderungen für GitHub Actions oder Azure Pipelines beschrieben. Ebenso können Sie Ihre Playwright-Tests mit der Playwright CLI auf anderen CI-Plattformen ausführen.

   GitHub Actions

   on:
     push:
       branches: [ main, master ]
     pull_request:
       branches: [ main, master ]
   permissions: # Required when using AuthType as EntraId
     id-token: write
     contents: read
   jobs:
     test:
       timeout-minutes: 60
       runs-on: ubuntu-latest
         steps:
         - uses: actions/checkout@v4
       # This step is to sign-in to Azure to run tests from GitHub Action workflow. 
       # Choose how to set up authentication to Azure from GitHub Actions. This is one example. 
   
         - name: Login to Azure with AzPowershell (enableAzPSSession true) 
           uses: azure/login@v2 
           with: 
             client-id: ${{ secrets.AZURE_CLIENT_ID }} # GitHub Open ID connect values copied in previous steps
             tenant-id: ${{ secrets.AZURE_TENANT_ID }}  
             subscription-id: ${{ secrets.AZURE_SUBSCRIPTION_ID }}  
             enable-AzPSSession: true 
   
         - name: Setup .NET
           uses: actions/setup-dotnet@v4
           with:
             dotnet-version: 8.0.x
   
         - name: Restore dependencies
           run: dotnet restore
           working-directory: path/to/playwright/folder # update accordingly
   
         - name: Build
           run: dotnet build --no-restore
           working-directory: path/to/playwright/folder # update accordingly
   
         - name: Run Playwright tests
             working-directory: path/to/playwright/folder # update accordingly
           env:
             # Regional endpoint for Microsoft Playwright Testing
             PLAYWRIGHT_SERVICE_URL: ${{ secrets.PLAYWRIGHT_SERVICE_URL }}
             # PLAYWRIGHT_SERVICE_ACCESS_TOKEN: ${{ secrets.PLAYWRIGHT_SERVICE_ACCESS_TOKEN }} # Not recommended, use Microsoft Entra ID authentication. 
           run: dotnet test --settings:.runsettings --logger "microsoft-playwright-testing" -- NUnit.NumberOfTestWorkers=20
   
         - name: Upload Playwright report
           uses: actions/upload-artifact@v3
           if: always()
           with:
             name: playwright-report
             path: path/to/playwright/folder/playwright-report/ # update accordingly
             retention-days: 10
   

   Azure Pipelines

   - task: UseDotNet@2
     inputs:
       packageType: 'sdk'
       version: '8.x'
       installationPath: $(Agent.ToolsDirectory)/dotnet
   
   - checkout: self
   
   - script: dotnet restore
     displayName: 'Restore dependencies'
     workingDirectory: path/to/playwright/folder # update accordingly
   
   - script: dotnet build --no-restore
     displayName: 'Build'
     workingDirectory: path/to/playwright/folder # update accordingly
   
   - task: AzureCLI@2
     displayName: Run Playwright Test  
       env:
       PLAYWRIGHT_SERVICE_URL: $(PLAYWRIGHT_SERVICE_URL)
       # PLAYWRIGHT_SERVICE_ACCESS_TOKEN: $(PLAYWRIGHT_SERVICE_ACCESS_TOKEN) # Not recommended, use Microsoft Entra ID authentication. 
   
     inputs:
       azureSubscription: My_Service_Connection # Service connection used to authenticate this pipeline with Azure to use the service using Microsoft Entra ID.
       scriptType: 'pscore'
       scriptLocation: 'inlineScript'
       inlineScript: |
         dotnet test --settings:.runsettings --logger "microsoft-playwright-testing" -- NUnit.NumberOfTestWorkers=20
     addSpnToEnvironment: true
     workingDirectory: path/to/playwright/folder # update accordingly
   
   - task: PublishPipelineArtifact@1
     displayName: Upload Playwright report
     inputs:
       targetPath: path/to/playwright/folder/playwright-report/ # update accordingly
       artifact: 'Playwright tests'
       publishLocation: 'pipeline'
   

3. Speichern und committen Sie Ihre Änderungen.

   Wenn der CI-Workflow ausgelöst wird, werden Ihre Playwright-Tests in Ihrem Microsoft Playwright Testing-Arbeitsbereich auf in der Cloud gehosteten Browsern über 20 parallele Worker ausgeführt. Die gesammelten Ergebnisse und Artefakte werden im Dienst veröffentlicht und können im Dienstportal angezeigt werden.

Die Einstellungen für die Testausführung werden in der Datei .runsettings definiert. Weitere Informationen finden Sie unter Verwendung von Dienstpaketoptionen

Hinweis

Das Berichterstellungsfeature ist für bereits vorhandene Arbeitsbereiche standardmäßig aktiviert. Dies wird phasenweise eingeführt und dauert einige Tage. Um Fehler zu vermeiden, vergewissern Sie sich, dass die Einstellung Rich diagnostics using reporting für Ihren Arbeitsbereich aktiviert ist, bevor Sie fortfahren. Weitere Informationen finden Sie unter Aktivieren der Berichterstellung für den Arbeitsbereich.

Achtung

Bei Microsoft Playwright Testing werden Ihnen Gebühren basierend auf der Gesamtanzahl von verbrauchten Testminuten und der Anzahl veröffentlichter Testergebnisse in Rechnung gestellt. Wenn Sie Erstbenutzer sind oder erste Schritte mit einer kostenlosen Testversion ausführen, können Sie mit der Ausführung eines einzelnen Tests im großen Stil statt mit der vollständigen Testsammlung beginnen, um die kostenlosen Testminuten und Testergebnisse nicht aufzubrauchen.

Nachdem Sie überprüft haben, ob der Test erfolgreich ausgeführt wird, können Sie die Testlast schrittweise erhöhen, indem Sie weitere Tests mit dem Dienst ausführen.

Sie können einen einzelnen Test mit dem Dienst ausführen, indem Sie die folgende Befehlszeile verwenden:

npx playwright test {name-of-file.spec.ts} --config=playwright.service.config.ts

Anzeigen von Testläufen und -ergebnissen im Playwright-Portal

Sie können jetzt Fehler in der CI-Pipeline im Playwright-Portal beheben,

1. Nach Abschluss der Testausführung wird ein Link zum Playwright-Portal generiert. Öffnen Sie diesen Link, um detaillierte Testergebnisse und zugehörige Artefakte anzuzeigen. Das Portal zeigt wichtige Informationen an, darunter:

   • CI-Builddetails
   • Gesamtstatus der Testausführung
   • Die Commit-ID, die mit der Testausführung verknüpft ist

   

2. Das Playwright-Portal enthält alle erforderlichen Informationen zur Problembehandlung. Sie können Folgendes ausführen:

   • Wechsel zwischen Wiederholungen.
   • Sehen Sie sich detaillierte Fehlerprotokolle, Testschritte und beigefügte Artefakte wie Screenshots oder Videos an.
   • Navigieren Sie direkt zur Ablaufverfolgungsanzeige für eine tiefergreifende Analyse.

   

3. Mit der Ablaufverfolgungsanzeige können Sie die Testausführung visuell durchlaufen. Sie können Folgendes ausführen:

   • Fahren Sie mit der Maus über die einzelnen Schritte auf der Zeitachse, um den Seitenzustand vor und nach jeder Aktion anzuzeigen.
   • Überprüfen Sie detaillierte Protokolle, DOM-Momentaufnahmen, Netzwerkaktivitäten, Fehler und Konsolenausgaben für jeden Schritt.

   

1. Nach Abschluss der Testausführung erhalten Sie einen Link zum Playwright-Portal in Ihrem Terminal. Öffnen Sie diesen Link, um detaillierte Testergebnisse und zugehörige Artefakte anzuzeigen. Das Portal zeigt wichtige Informationen an, darunter:

   • CI-Builddetails
   • Gesamtstatus der Testausführung
   • Die Commit-ID, die mit der Testausführung verknüpft ist

   

2. Das Playwright-Portal enthält alle erforderlichen Informationen zur Problembehandlung. Sie können Folgendes ausführen:

   • Zeigen Sie detaillierte Fehlerprotokolle und angefügte Artefakte wie Screenshots oder Videos an.
   • Navigieren Sie direkt zur Ablaufverfolgungsanzeige für eine tiefergreifende Analyse.

   

Hinweis

Einige Metadaten wie Besitzende, Beschreibung und Kategorie werden derzeit nicht im Dienstdashboard angezeigt. Wenn weitere Informationen eingeschlossen werden sollten, übermitteln Sie ein GitHub-Issue in unserem Repository.

4. Mit der Ablaufverfolgungsanzeige können Sie die Testausführung visuell durchlaufen. Sie können Folgendes ausführen:

   • Fahren Sie mit der Maus über die einzelnen Schritte auf der Zeitachse, um den Seitenzustand vor und nach jeder Aktion anzuzeigen.
   • Überprüfen Sie detaillierte Protokolle, DOM-Momentaufnahmen, Netzwerkaktivitäten, Fehler und Konsolenausgaben für jeden Schritt.

   

Tipp

Sie können Microsoft Playwright Testing-Dienstfeatures unabhängig voneinander verwenden. Sie können Testergebnisse im Portal veröffentlichen, ohne das Feature für in der Cloud gehostete Browser zu verwenden, und Sie können auch nur in der Cloud gehostete Browser verwenden, um Ihre Testsammlung zu beschleunigen, ohne die Testergebnisse zu veröffentlichen. Ausführliche Informationen finden Sie unter Verwenden von Dienstfunktionen.

Hinweis

Die Testergebnisse und Artefakte, die Sie veröffentlichen, werden 90 Tage lang im Dienst aufbewahrt. Danach werden sie automatisch gelöscht.

Zugehöriger Inhalt

Sie haben erfolgreich einen kontinuierlichen End-to-End-Testworkflow eingerichtet, um Ihre Playwright-Tests im großen Stil in cloudgehosteten Browsern auszuführen.

• Gewähren des Zugriffs von Benutzern auf den Arbeitsbereich

• Verwalten Ihrer Arbeitsbereiche