Zelfstudie: Installatiekopieën genereren met behulp van serverloze GPU's in Azure Container Apps (preview)
In dit artikel leert u hoe u een container-app maakt die gebruikmaakt van serverloze GPU's om een AI-toepassing uit te voeren.
Met serverloze GPU's hebt u directe toegang tot GPU-rekenresources zonder dat u handmatige infrastructuurconfiguratie hoeft uit te voeren, zoals het installeren van stuurprogramma's. U hoeft alleen maar de installatiekopieën van uw AI-model te implementeren.
In deze zelfstudie doet u het volgende:
- Een nieuwe container-app en -omgeving maken
- De omgeving configureren voor het gebruik van serverloze GPU's
- Uw app implementeren in Azure Container Apps
- De nieuwe serverloze GPU-toepassing gebruiken
- Artefactstreaming inschakelen om de koude start van GPU te verminderen
Vereisten
| Bron | Beschrijving |
|---|---|
| Azure-account | U hebt een Azure-account met een actief abonnement nodig. Als u geen account hebt, kunt u er gratis een maken. |
| Azure Container Registry-exemplaar | U hebt een bestaand Exemplaar van Azure Container Registry of de machtigingen nodig om er een te maken. |
| Toegang tot serverloze GPU's | Toegang tot GPU's is alleen beschikbaar nadat u GPU-quota hebt aangevraagd. U kunt uw GPU-quotumaanvraag indienen via een klantondersteuningsaanvraag. |
Uw container-app maken
Ga naar Azure Portal en zoek en selecteer Container Apps.
Selecteer Maken en selecteer vervolgens Container App.
Voer in het venster Basisinformatie de volgende waarden in elke sectie in.
Voer onder Projectdetails de volgende waarden in:
Instelling Weergegeven als Abonnement Selecteer uw Azure-abonnement. Resourcegroep Selecteer Nieuwe maken en voer mijn-gpu-demogroep in. Naam container-app Voer mijn-gpu-demo-app in. Implementatiebron Selecteer Containerinstallatiekopieën. Voer onder Container Apps-omgeving de volgende waarden in:
Instelling Weergegeven als Regio Selecteer VS - west 3.
Raadpleeg voor meer ondersteunde regio's het gebruik van serverloze GPU's in Azure.Container Apps-omgeving Selecteer Nieuw maken. Voer in het venster Container Apps-omgeving maken de volgende waarden in:
Instelling Weergegeven als Omgevingsnaam Voer mijn-gpu-demo-env in. Selecteer Maken.
Selecteer Volgende: Container >.
Voer in het venster Container de volgende waarden in:
Instelling Weergegeven als Naam Voer my-gpu-demo-container in. Bron van afbeelding Selecteer Docker Hub of andere registers. Afbeeldingstype Selecteer openbaar. Registeraanmeldingsserver Voer mcr.microsoft.com in. Afbeelding en tag Voer k8se/gpu-quickstart in: latest. Workloadprofiel Selecteer de optie die begint met Verbruik - Maximaal 4... GPU Schakel het selectievakje in. GPU-type Selecteer de T4-optie en selecteer de koppeling om het profiel aan uw omgeving toe te voegen. Selecteer Volgende: Inkomend >verkeer.
Voer in het venster Inkomend verkeer de volgende waarden in:
Instelling Weergegeven als Inkomend verkeer Schakel het selectievakje Geactiveerd in. Inkomend verkeer Selecteer het keuzerondje Accepteren van verkeer vanaf elke locatie . Doelpoort Voer 80 in. Selecteer Controleren + maken.
Selecteer Maken.
Wacht even totdat de implementatie is voltooid en selecteer vervolgens Ga naar de resource.
Het kan vijf minuten duren voordat dit proces is voltooid.
Uw GPU-app gebruiken
Selecteer in het venster Overzicht de koppeling Toepassings-URL om de front-end van de web-app in uw browser te openen en de GPU-toepassing te gebruiken.
Notitie
- Als u de beste prestaties van uw GPU-apps wilt bereiken, volgt u de stappen om de koude start voor uw serverloze GPU's te verbeteren.
- Wanneer uw toepassing meerdere containers bevat, krijgt de eerste container toegang tot de GPU.
Uw GPU bewaken
Zodra u een installatiekopieën hebt gegenereerd, gebruikt u de volgende stappen om de resultaten van de GPU-verwerking weer te geven:
Open uw container-app in Azure Portal.
Selecteer Console in de sectie Bewaking.
Selecteer de replica.
Selecteer de container.
Selecteer *Opnieuw verbinding maken.
Selecteer /bin/bash in het opdrachtvenster Opstarten kiezen en selecteer Verbinding maken.
Nadat de shell is ingesteld, voert u de opdracht nvidia-smi in om de status en uitvoer van uw GPU te controleren.
Resources opschonen
De resources die in deze zelfstudie zijn gemaakt, hebben een effect op uw Azure-factuur.
Als u deze services niet op de lange termijn gaat gebruiken, gebruikt u de stappen om alles te verwijderen dat in deze zelfstudie is gemaakt.
Zoek en selecteer resourcegroepen in Azure Portal.
Selecteer mijn-gpu-demogroep.
Selecteer Resourcegroep verwijderen.
Voer in het bevestigingsvak mijn-gpu-demogroep in.
Selecteer Verwijderen.