Panoramica delle macchine virtuali serie HBv4
Si applica a: ✔️ macchine virtuali Linux ✔️ macchine virtuali Windows ✔️ set di scalabilità flessibili ✔️ set di scalabilità uniformi
Un server serie HBv4 include 2 * CPU EPYC 96 core 9V33X per un totale di 192 core fisici "Zen4" con cache AMD 3D-V. Il multithreading simultaneo (SMT) è disabilitato in HBv4. Questi 192 core sono suddivisi in 24 sezioni (12 per socket), ognuna delle quali contiene 8 core di processore con accesso uniforme a una cache L3 da 96 MB. I server Azure HBv4 eseguono anche le impostazioni del BIOS AMD seguenti:
Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled
Di conseguenza, il server viene avviato con 4 domini NUMA (2 per socket) di 48 core ciascuno. Ogni NUMA ha accesso diretto a 6 canali di DRAM.
Per consentire all'hypervisor di Azure di operare senza interferire con la macchina virtuale, vengono riservati 16 core fisici per server.
Topologia della macchina virtuale
Il diagramma seguente illustra la topologia del server. Questi 16 core dell’host hypervisor (giallo) vengono riservati simmetricamente in entrambi i socket della CPU, prendendo i primi 2 core da specifici Core Complex Dies (CCD) in ogni dominio NUMA, mentre i core rimanenti sono destinati alla macchina virtuale serie HBv4 (verde).
Il limite CCD è diverso da un limite NUMA. In HBv4, un gruppo di sei (6) CCD consecutivi è configurato come dominio NUMA, sia a livello di server host che all'interno di una macchina virtuale guest. Di conseguenza, tutte le dimensioni della macchina virtuale HBv4 espongono 4 domini NUMA uniformi che appaiono a un sistema operativo e a un'applicazione, come illustrato di seguito, ognuno con un numero diverso di core a seconda delle dimensioni specifiche della dimensione della macchina virtuale HBv4.
Ogni dimensione della macchina virtuale HBv4 è simile per layout fisico, funzionalità e prestazioni a una CPU della serie AMD EPYC 9V33X, come indicato di seguito:
| Dimensioni della macchina virtuale serie HBv4 | Domini NUMA | Core per dominio NUMA | Similarità con AMD EPYC |
|---|---|---|---|
| Standard_HB176rs_v4 | 4 | 44 | Dual-socket EPYC 9V33X |
| Standard_HB176-144rs_v4 | 4 | 36 | Dual-socket EPYC 9V33X |
| Standard_HB176-96rs_v4 | 4 | 24 | Dual-socket EPYC 9V33X |
| Standard_HB176-48rs_v4 | 4 | 12 | Dual-socket EPYC 9V33X |
| Standard_HB176-24rs_v4 | 4 | 6 | Dual-socket EPYC 9V33X |
Nota
Le dimensioni delle macchine virtuali con core vincolati riducono solo il numero di core fisici esposti alla macchina virtuale. Tutti gli asset condivisi globali (RAM, larghezza di banda della memoria, cache L3, connettività GMI e xGMI, InfiniBand, rete Ethernet di Azure, unità SSD locale) rimangono costanti. Ciò consente al cliente di scegliere le dimensioni della macchina virtuale più adatte a un determinato set del carico di lavoro o alle esigenze di licenza del software.
Il mapping NUMA virtuale di ogni dimensione della macchina virtuale HBv4 viene mappato in base alla topologia NUMA fisica sottostante. Non esiste un'astrazione potenzialmente fuorviante della topologia hardware.
La topologia esatta per le varie dimensioni della macchina virtuale HBv4 viene visualizzata come segue usando l'output di lstopo:
lstopo-no-graphics --no-io --no-legend --of txt
Fare clic per visualizzare l'output di lstopo per Standard_HB176rs_v4
Fare clic per visualizzare l'output di lstopo per Standard_HB176-144rs_v4
Fare clic per visualizzare l'output di lstopo per Standard_HB176-96rs_v4
Fare clic per visualizzare l'output di lstopo per Standard_HB176-48rs_v4
Fare clic per visualizzare l'output di lstopo per Standard_HB176-24rs_v4
Rete InfiniBand
Le macchine virtuali HBv4 dispongono inoltre di adattatori di rete NVIDIA Mellanox NDR InfiniBand (ConnectX-7) che operano fino a 400 Gigabit/sec. La scheda di interfaccia di rete viene passata alla macchina virtuale tramite SRIOV, consentendo al traffico di rete di ignorare l'hypervisor. Di conseguenza, i clienti caricano driver OFED standard di Mellanox nelle macchine virtuali HBv4 come farebbero in un ambiente bare metal.
Le macchine virtuali HBv4 supportano il routing adattivo, il trasporto connesso dinamico (DCT, oltre ai trasporti standard RC e UD) e l'offload basato su hardware dei collettivi MPI al processore di bordo dell'adattatore ConnectX-7. Queste funzionalità migliorano le prestazioni, la scalabilità e la coerenza dell'applicazione e se ne consiglia l'uso.
Archiviazione temporanea
Le macchine virtuali HBv4 dispongono di 3 dispositivi SSD locali fisici. Uno dei dispositivi viene preformattato per fungere da file di pagina e visualizzato all'interno della macchina virtuale come dispositivo generico "SSD".
Altre due unità SSD di dimensioni maggiori vengono fornite come dispositivi NVMe a blocchi non formattati tramite NVMeDirect. Poiché il dispositivo NVMe a blocchi ignora l'hypervisor, ha una larghezza di banda maggiore, operazioni di I/O al secondo più elevate e una latenza inferiore per IOP.
Se abbinato in una matrice con striping, l'unità SSD NVMe fornisce fino a 12 GB/s in lettura e 7 GB/s in scrittura e fino a 186.000 operazioni di I/O al secondo (letture) e 201.000 operazioni di I/O al secondo (scritture) per profondità di coda profonde.
Specifiche hardware
| Specifiche hardware | Macchine virtuali serie HBv4 |
|---|---|
| Core | 176, 144, 96, 48, o 24 (SMT disabilitato) |
| CPU | AMD EPYC 9V33X |
| Frequenza CPU (non AVX) | Base 2,4 GHz, picco di 3,7 GHz |
| Memoria | 768 GB (la RAM per core dipende dalle dimensioni della macchina virtuale) |
| Disco locale | 2 * 1.8 GB NVMe (blocco), SSD da 480 GB (file di pagina) |
| InfiniBand | InfiniBand da 400 Gb/s Mellanox ConnectX-7 NDR |
| Rete | SmartNIC di seconda generazione di Azure da 80 Gb/s Ethernet (40 Gb/s utilizzabili) |
Specifiche software
| Specifiche software | Macchine virtuali serie HBv4 |
|---|---|
| Dimensioni massime processo MPI | 52,800 core (300 macchine virtuali in un singolo set di scalabilità di macchine virtuali con singlePlacementGroup=true) |
| Supporto MPI | HPC-X (2.13 o versione successiva), Intel MPI (2021.7.0 o versione successiva), OpenMPI (4.1.3 o versione successiva), MVAPICH2 (2.3.7 o versione successiva), MPICH (4.1 o versione successiva) |
| Framework aggiuntivi | UCX, libfabric, PGAS o altri runtime basati su InfiniBand |
| Supporto di Archiviazione di Azure | Dischi Standard e Premium (massimo 32 dischi), Azure NetApp Files, File di Azure, Cache HPC di Azure, File system di Managed Lustre di Azure |
| Sistema operativo supportato e convalidato | AlmaLinux 8.6, 8.7, Ubuntu 20.04+ |
| Sistema operativo consigliato per le prestazioni | AlmaLinux HPC 8.7, Ubuntu-HPC 20.04+ |
| Supporto di Orchestrator | Azure CycleCloud, Azure Batch, servizio Azure Kubernetes; opzioni di configurazione del cluster |
Nota
- Queste macchine virtuali supportano solo la seconda generazione.
- Il supporto ufficiale a livello di kernel di AMD inizia con RHEL 8.6 e AlmaLinux 8.6, che è un derivato di RHEL.
- Windows Server 2012 R2 non è supportato in HBv4 e in altre macchine virtuali con più di 64 core (virtuali o fisici). Per altre informazioni, vedere Sistemi operativi guest Windows supportati per Hyper-V in Windows Server. Windows Server 2022 è necessario per le dimensioni core 144 e 176, Windows Server 2016 funziona anche per dimensioni di core 24, 48 e 96, Windows Server funziona solo per le dimensioni core 24 e 48.
Importante
URN immagine consigliata: almalinux:almalinux-hpc:8_7-hpc-gen2:8.7.2023060101, Per distribuire questa immagine nell'interfaccia della riga di comando di Azure, assicurarsi che siano inclusi i parametri seguenti --plan 8_7-hpc-gen2 --product almalinux-hpc --publisher almalinux. Per i test di ridimensionamento, usare l'URN consigliato insieme al nuovo HPC-X tarball.
Nota
- Il supporto NDR viene aggiunto in UCX 1.13 o versione successiva. Le versioni precedenti di UCX segnalano l'errore di runtime precedente. Errore UCX: velocità
[1677010492.951559] [updsb-vm-0:2754 :0] ib_iface.c:1549 UCX ERROR Invalid active_speed on mlx5_ib0:1: 128attiva non valida. - Ibstat mostra bassa velocità (SDR): le versioni precedenti di Mellanox OFED (MOFED) non supportano NDR e potrebbero segnalare velocità IB più lente. Usare le versioni MOFED 5.6-1.0.3.3 o successive.
Passaggi successivi
- Per informazioni sugli annunci più recenti, sugli esempi di carico di lavoro HPC e sui risultati delle prestazioni, vedere i Blog della community tecnica di Calcolo di Azure.
- Per un quadro generale sull'architettura per l'esecuzione di carichi di lavoro HPC, vedere HPC (High Performance Computing) in Azure.