Usare GPU per carichi di lavoro a elevato utilizzo di calcolo (servizio Azure Kubernetes in Azure locale, versione 23H2)
Si applica a: Locale di Azure, versione 23H2
Nota
Per informazioni sulle GPU nel servizio Azure Kubernetes in Azure Locale 22H2, vedere Usare GPU (Azure Local 22H2).
Le unità di elaborazione grafica (GPU) vengono usate per carichi di lavoro a elevato utilizzo di calcolo, ad esempio Machine Learning, Deep Learning e altro ancora. Questo articolo descrive come usare GPU per carichi di lavoro a elevato utilizzo di calcolo nel servizio Azure Kubernetes abilitato da Azure Arc.
Modelli GPU supportati
I modelli GPU seguenti sono supportati dal servizio Azure Kubernetes in Azure Local, versione 23H2:
| Produttore | Modello GPU | Versione supportata |
|---|---|---|
| NVidia | A2 | 2311.2 |
| NVidia | A16 | 2402.0 |
| NVidia | T4 | 2408.0 |
Dimensioni delle macchine virtuali supportate
Le dimensioni di vm seguenti per ogni modello GPU sono supportate dal servizio Azure Kubernetes in Azure Locale, versione 23H2.
Nvidia T4 è supportato dagli SKU NK T4
| Dimensioni della VM | GPU | Memoria GPU: GiB | vCPU | Memoria: GiB |
|---|---|---|---|---|
| Standard_NK6 | 1 | 8 | 6 | 12 |
| Standard_NK12 | 2 | 16 | 12 | 24 |
Nvidia A2 è supportato dagli SKU NC2 A2
| Dimensioni della VM | GPU | Memoria GPU: GiB | vCPU | Memoria: GiB |
|---|---|---|---|---|
| Standard_NC4_A2 | 1 | 16 | 4 | 8 |
| Standard_NC8_A2 | 1 | 16 | 8 | 16 |
| Standard_NC16_A2 | 2 | 48 | 16 | 64 |
| Standard_NC32_A2 | 2 | 48 | 32 | 28 |
Nvidia A16 è supportato dagli SKU NC2 A16
| Dimensioni della VM | GPU | Memoria GPU: GiB | vCPU | Memoria: GiB |
|---|---|---|---|---|
| Standard_NC4_A16 | 1 | 16 | 4 | 8 |
| Standard_NC8_A16 | 1 | 16 | 8 | 16 |
| Standard_NC16_A16 | 2 | 48 | 16 | 64 |
| Standard_NC32_A16 | 2 | 48 | 32 | 28 |
Operazioni preliminari
Per usare GPU in AKS Arc, assicurarsi di aver installato i driver GPU necessari prima di iniziare la distribuzione del cluster. Seguire i passaggi descritti in questa sezione.
Passaggio 1: installare il sistema operativo
Installare il sistema operativo Locale di Azure versione 23H2 in locale in ogni server del cluster locale di Azure.
Passaggio 2: disinstallare il driver host NVIDIA
In ogni computer host passare a Pannello di controllo > Installazione applicazioni, disinstallare il driver host NVIDIA, quindi riavviare il computer. Dopo il riavvio del computer, verificare che il driver sia stato disinstallato correttamente. Aprire un terminale powerShell con privilegi elevati ed eseguire il comando seguente:
Get-PnpDevice | select status, class, friendlyname, instanceid | where {$_.friendlyname -eq "3D Video Controller"}
I dispositivi GPU dovrebbero essere visualizzati in uno stato di errore, come illustrato in questo output di esempio:
Error 3D Video Controller PCI\VEN_10DE&DEV_1EB8&SUBSYS_12A210DE&REV_A1\4&32EEF88F&0&0000
Error 3D Video Controller PCI\VEN_10DE&DEV_1EB8&SUBSYS_12A210DE&REV_A1\4&3569C1D3&0&0000
Passaggio 3: smontare il driver host dall'host
Quando si disinstalla il driver host, la GPU fisica entra in uno stato di errore. È necessario smontare tutti i dispositivi GPU dall'host.
Per ogni dispositivo GPU (3D Video Controller), eseguire i comandi seguenti in PowerShell. Copiare l'ID istanza; Ad esempio, PCI\VEN_10DE&DEV_1EB8&SUBSYS_12A210DE&REV_A1\4&32EEF88F&0&0000 dall'output del comando precedente:
$id1 = "<Copy and paste GPU instance id into this string>"
$lp1 = (Get-PnpDeviceProperty -KeyName DEVPKEY_Device_LocationPaths -InstanceId $id1).Data[0]
Disable-PnpDevice -InstanceId $id1 -Confirm:$false
Dismount-VMHostAssignableDevice -LocationPath $lp1 -Force
Per verificare che le GPU siano state smontate correttamente dall'host, eseguire il comando seguente. È consigliabile inserire GPU in uno Unknown stato:
Get-PnpDevice | select status, class, friendlyname, instanceid | where {$_.friendlyname -eq "3D Video Controller"}
Unknown 3D Video Controller PCI\VEN_10DE&DEV_1EB8&SUBSYS_12A210DE&REV_A1\4&32EEF88F&0&0000
Unknown 3D Video Controller PCI\VEN_10DE&DEV_1EB8&SUBSYS_12A210DE&REV_A1\4&3569C1D3&0&0000
Passaggio 4: scaricare e installare il driver di mitigazione NVIDIA
Il software potrebbe includere componenti sviluppati e di proprietà di NVIDIA Corporation o dei suoi licenze. L'uso di questi componenti è disciplinato dal contratto di licenza dell'utente finale NVIDIA.
Vedere la documentazione del data center NVIDIA per scaricare il driver di mitigazione NVIDIA. Dopo aver scaricato il driver, espandere l'archivio e installare il driver di mitigazione in ogni computer host. È possibile seguire questo script di PowerShell per scaricare il driver di mitigazione ed estrarlo:
Invoke-WebRequest -Uri "https://docs.nvidia.com/datacenter/tesla/gpu-passthrough/nvidia_azure_stack_inf_v2022.10.13_public.zip" -OutFile "nvidia_azure_stack_inf_v2022.10.13_public.zip"
mkdir nvidia-mitigation-driver
Expand-Archive .\nvidia_azure_stack_inf_v2022.10.13_public.zip .\nvidia-mitigation-driver\
Per installare il driver di mitigazione, passare alla cartella contenente i file estratti e selezionare il file del driver GPU in base al tipo di GPU effettivo installato negli host locali di Azure. Ad esempio, se il tipo è A2 GPU, fare clic con il pulsante destro del mouse sul file nvidia_azure_stack_A2_base.inf e scegliere Installa.
È anche possibile installare usando la riga di comando passando alla cartella ed eseguendo i comandi seguenti per installare il driver di mitigazione:
pnputil /add-driver nvidia_azure_stack_A2_base.inf /install
pnputil /scan-devices
Dopo aver installato il driver di mitigazione, le GPU vengono elencate nello stato OK in Nvidia A2_base - Smontato:
Get-PnpDevice | select status, class, friendlyname, instanceid | where {$_.friendlyname -match "Nvidia"}"
OK Nvidia A2_base - Dismounted PCI\VEN_10DE&DEV_1EB8&SUBSYS_12A210DE&REV_A1\4&32EEF88F&0&0000
OK Nvidia A2_base - Dismounted PCI\VEN_10DE&DEV_1EB8&SUBSYS_12A210DE&REV_A1\4&3569C1D3&0&0000
Passaggio 5: ripetere i passaggi da 1 a 4
Ripetere i passaggi da 1 a 4 per ogni server nel cluster locale di Azure.
Passaggio 6: continuare la distribuzione del cluster locale di Azure
Continuare la distribuzione del cluster locale di Azure seguendo la procedura descritta in Distribuzione locale di Azure versione 23H2.
Ottenere un elenco degli SKU di macchine virtuali abilitati per GPU disponibili
Al termine della distribuzione del cluster locale di Azure, è possibile eseguire il comando seguente dell'interfaccia della riga di comando per visualizzare gli SKU di vm disponibili nella distribuzione. Se i driver GPU sono installati correttamente, vengono elencati gli SKU di MACCHINE virtuali GPU corrispondenti:
az aksarc vmsize list --custom-location <custom location ID> -g <resource group name>
Creare un nuovo cluster del carico di lavoro con un pool di nodi abilitato per GPU
Attualmente, l'uso di pool di nodi abilitati per GPU è disponibile solo per i pool di nodi Linux. Per creare un nuovo cluster Kubernetes:
az aksarc create -n <aks cluster name> -g <resource group name> --custom-location <custom location ID> --vnet-ids <vnet ID>
L'esempio seguente aggiunge un pool di nodi con 2 nodi abilitati per GPU (NVDIA A2) con uno SKU di macchina virtuale Standard_NC4_A2 :
az aksarc nodepool add --cluster-name <aks cluster name> -n <node pool name> -g <resource group name> --node-count 2 --node-vm-size Standard_NC4_A2 --os-type Linux
Confermare che è possibile pianificare GPU
Dopo aver creato il pool di nodi GPU, verificare che sia possibile pianificare GPU in Kubernetes. Elencare prima di tutto i nodi nel cluster usando il comando kubectl get nodes:
kubectl get nodes
NAME STATUS ROLES AGE VERSION
moc-l9qz36vtxzj Ready control-plane,master 6m14s v1.22.6
moc-lhbkqoncefu Ready <none> 3m19s v1.22.6
moc-li87udi8l9s Ready <none> 3m5s v1.22.6
Usare ora il comando kubectl describe node per verificare che le GPU possano essere pianificate. Nella sezione Capacity (Capacità) la GPU dovrebbe essere visualizzata come nvidia.com/gpu: 1.
kubectl describe <node> | findstr "gpu"
L'output dovrebbe visualizzare le GPU dal nodo di lavoro e avere un aspetto simile al seguente:
Capacity:
cpu: 4
ephemeral-storage: 103110508Ki
hugepages-1Gi: 0
hugepages-2Mi: 0
memory: 7865020Ki
nvidia.com/gpu: 1
pods: 110
Eseguire un carico di lavoro abilitato per la GPU
Dopo aver completato i passaggi precedenti, creare un nuovo file YAML per il test; ad esempio gpupod.yaml. Copiare e incollare il codice YAML seguente nel nuovo file denominato gpupod.yaml, quindi salvarlo:
apiVersion: v1
kind: Pod
metadata:
name: cuda-vector-add
spec:
restartPolicy: OnFailure
containers:
- name: cuda-vector-add
image: "k8s.gcr.io/cuda-vector-add:v0.1"
resources:
limits:
nvidia.com/gpu: 1
Eseguire il comando seguente per distribuire l'applicazione di esempio:
kubectl apply -f gpupod.yaml
Verificare che il pod sia stato avviato, completato l'esecuzione e che la GPU sia assegnata:
kubectl describe pod cuda-vector-add | findstr 'gpu'
Il comando precedente dovrebbe mostrare una GPU assegnata:
nvidia.com/gpu: 1
nvidia.com/gpu: 1
Controllare il file di log del pod per verificare se il test è stato superato:
kubectl logs cuda-vector-add
Di seguito è riportato l'output di esempio del comando precedente:
[Vector addition of 50000 elements]
Copy input data from the host memory to the CUDA device
CUDA kernel launch with 196 blocks of 256 threads
Copy output data from the CUDA device to the host memory
Test PASSED
Done
Se viene visualizzato un errore di mancata corrispondenza della versione durante la chiamata a driver, ad esempio "La versione del driver CUDA non è sufficiente per la versione del runtime CUDA", vedere il grafico di compatibilità della matrice di driver NVIDIA.
Domande frequenti
Cosa accade durante l'aggiornamento di un pool di nodi abilitato per GPU?
L'aggiornamento dei pool di nodi abilitati per GPU segue lo stesso modello di aggiornamento in sequenza usato per i pool di nodi normali. Affinché i pool di nodi abilitati per GPU in una nuova macchina virtuale vengano creati correttamente nel computer host fisico, è necessario che una o più GPU fisiche siano disponibili per l'assegnazione corretta del dispositivo. Questa disponibilità garantisce che le applicazioni possano continuare a essere in esecuzione quando Kubernetes pianifica i pod in questo nodo aggiornato.
Prima di eseguire l'aggiornamento:
- Pianificare tempi di inattività durante l'aggiornamento.
- Se si esegue la Standard_NK6 o 2 GPU aggiuntive se si esegue Standard_NK12, è disponibile una GPU aggiuntiva per host fisico. Se si esegue con capacità completa e non si dispone di una GPU aggiuntiva, è consigliabile ridurre il pool di nodi a un singolo nodo prima dell'aggiornamento, quindi aumentare le prestazioni dopo l'aggiornamento.
Cosa accade se non sono presenti GPU fisiche aggiuntive nel computer fisico durante un aggiornamento?
Se un aggiornamento viene attivato in un cluster senza risorse GPU aggiuntive per facilitare l'aggiornamento in sequenza, il processo di aggiornamento si blocca fino a quando non è disponibile una GPU. Se si esegue con capacità completa e non si dispone di una GPU aggiuntiva, è consigliabile ridurre il pool di nodi a un singolo nodo prima dell'aggiornamento, quindi aumentare le prestazioni dopo che l'aggiornamento ha avuto esito positivo.