Tutorial: Generieren von Images mit serverlosen GPUs in Azure Container Apps (Vorschau)
In diesem Artikel erfahren Sie, wie Sie eine Container-App erstellen, die serverlose GPUs verwendet, um eine KI-Anwendung zu unterstützen.
Mit serverlosen GPUs haben Sie direkten Zugriff auf GPU-Computeressourcen, ohne eine manuelle Infrastrukturkonfiguration vornehmen zu müssen, z. B. Installieren von Treibern. Somit müssen Sie in diesem Fall nur noch das Image des KI-Modells bereitstellen.
In diesem Tutorial führen Sie Folgendes durch:
- Erstellen einer neuen Container-App und Umgebung
- Konfigurieren der Umgebung für die Verwendung serverloser GPUs
- Erstellen Ihrer App in Azure Container Apps
- Verwenden der neuen Anwendung mit serverloser GPU
- Aktivieren des Artefaktstreamings, um die Kaltstartzeit der GPU zu reduzieren
Voraussetzungen
| Resource | BESCHREIBUNG |
|---|---|
| Azure-Konto | Sie benötigen ein Azure-Konto mit einem aktiven Abonnement. Wenn Sie noch keine haben, können Sie eine kostenlos erstellen. |
| Azure Container Registry-Instanz | Sie benötigen eine vorhandene Azure Container Registry-Instanz oder die Berechtigungen zum Erstellen einer solchen Instanz. |
| Zugriff auf serverlose GPUs | Der Zugriff auf GPUs ist erst verfügbar, nachdem Sie GPU-Kontingente angefordert haben. Sie können Ihre GPU-Kontingentanforderung über einen Supportfall übermitteln. |
Erstellen Ihrer Container-App
Suchen Sie im Azure-Portal nach Container-Apps, und wählen Sie die entsprechende Option aus.
Wählen Sie Erstellen und anschließend Container-App aus.
Geben Sie im Fenster Grundlagen die folgenden Werte in den einzelnen Abschnitten ein.
Geben Sie unter Projektdetails die folgenden Werte ein:
Einstellung Wert Subscription Wählen Sie Ihr Azure-Abonnement. Resource group Wählen Sie Neu erstellen aus, und geben Sie my-gpu-demo-group ein. Name der Container-App Geben Sie my-gpu-demo-app ein. Bereitstellungsquelle Wählen Sie Containerimage aus. Geben Sie unter Container Apps-Umgebung die folgenden Werte ein:
Einstellung Wert Region Wählen Sie USA, Westen 3 aus.
Weitere unterstützte Regionen finden Sie unter Verwenden serverloser GPUs in Azure.Container-Apps-Umgebung Wählen Sie Neu erstellen. Geben Sie im Fenster Container Apps-Umgebung erstellen die folgenden Werte ein:
Einstellung Wert Umgebungsname Geben Sie my-gpu-demo-env ein. Klicken Sie auf Erstellen.
Wählen Sie Weiter: Container > aus.
Geben Sie im Fenster Container die folgenden Werte ein:
Einstellung Wert Name Geben Sie my-gpu-demo-container ein. Bildquelle Wählen Sie Docker Hub oder andere Registrierungen aus. Bildtyp Wählen Sie Öffentlich aus. Anmeldeserver für die Registrierung Geben Sie mcr.microsoft.com ein. Image und Tag Geben Sie k8se/gpu-quickstart:latest ein. Workloadprofil Wählen Sie die Option aus, die mit Verbrauch: Bis zu 4... beginnt. GPU Aktivieren Sie das Kontrollkästchen . GPU-Typ Wählen Sie die Option T4 und dann den Link zum Hinzufügen des Profils zu Ihrer Umgebung aus. Wählen Sie Weiter: Eingehend > aus.
Geben Sie im Fenster Eingehend die folgenden Werte ein:
Einstellung Wert Eingehend Aktivieren Sie das Kontrollkästchen Aktiviert. Eingehender Datenverkehr Wählen Sie das Optionsfeld Datenverkehr von überall aus akzeptieren aus. Zielport Geben Sie 80 ein. Klicken Sie auf Überprüfen + erstellen.
Klicken Sie auf Erstellen.
Warten Sie einen Moment, bis die Bereitstellung abgeschlossen ist, und wählen Sie dann Zu Ressource wechseln aus.
Dieser Vorgang kann bis zu fünf Minuten in Anspruch nehmen.
Verwenden Ihrer GPU-App
Wählen Sie im Fenster Übersicht den Link Anwendungs-URL aus, um das Web-App-Front-End in Ihrem Browser zu öffnen und die GPU-Anwendung zu verwenden.
Hinweis
Um die beste Leistung Ihrer GPU-Apps zu erzielen, führen Sie die Schritte zum Verbessern des Kaltstarts für serverlose GPUs aus.
Überwachen der GPU
Nachdem Sie ein Image generiert haben, führen Sie die folgenden Schritte aus, um Ergebnisse der GPU-Verarbeitung anzuzeigen:
Öffnen Sie Ihre Container-App im Azure-Portal.
Wählen Sie im Abschnitt Überwachung die Option Konsole aus.
Wählen Sie Ihr Replikat aus.
Wählen Sie Ihren Container aus.
Wählen Sie *Verbindung wiederherstellen aus.
Wählen Sie im Fenster Startbefehl auswählen die Option /bin/bash und dann Verbinden aus.
Sobald die Shell eingerichtet ist, geben Sie den Befehl nvidia-smi ein, um den Status und die Ausgabe Ihrer GPU zu überprüfen.
Bereinigen von Ressourcen
Die in diesem Tutorial erstellten Ressourcen wirken sich auf Ihre Azure-Abrechnung aus.
Führen Sie die Schritte aus, um alle in diesem Tutorial erstellten Ressourcen zu entfernen, wenn Sie diese Dienste nicht langfristig verwenden werden.
Suchen Sie im Azure-Portal nach Ressourcengruppen, und wählen Sie die entsprechende Option aus.
Wählen Sie my-gpu-demo-group aus.
Wählen Sie die Option Ressourcengruppe löschen.
Geben Sie im Bestätigungsfeld my-gpu-demo-group ein.
Wählen Sie Löschen.