Panoramica delle macchine virtuali serie HX
Si applica a: ✔️ macchine virtuali Linux ✔️ macchine virtuali Windows ✔️ set di scalabilità flessibili ✔️ set di scalabilità uniformi
Un server serie HX dispone di 2 * 96-core EPYC 9V33X CPU per un totale di 192 core fisici "Zen4" con AMD 3D-V Cache. Il multithreading simultaneo (SMT) è disabilitato in HX. Questi 192 core sono suddivisi in 24 sezioni (12 per socket), ognuna delle quali contiene 8 core di processore con accesso uniforme a una cache L3 da 96 MB. I server Azure HX eseguono anche le impostazioni del BIOS AMD seguenti:
Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled
Di conseguenza, il server viene avviato con 4 domini NUMA (2 per socket) di 48 core ciascuno. Ogni NUMA ha accesso diretto a 6 canali di DRAM.
Per consentire all'hypervisor di Azure di operare senza interferire con la macchina virtuale, vengono riservati 16 core fisici per server.
Topologia della macchina virtuale
Il diagramma seguente illustra la topologia del server. Questi 16 core dell’host hypervisor (giallo) vengono riservati simmetricamente in entrambi i socket della CPU, prendendo i primi 2 core da specifici Core Complex Dies (CCD) in ogni dominio NUMA, mentre i core rimanenti sono destinati alla macchina virtuale serie HX (verde).
Il limite CCD è diverso da un limite NUMA. In HX, un gruppo di sei (6) CCD consecutivi è configurato come dominio NUMA, sia a livello di server host che all'interno di una macchina virtuale guest. Di conseguenza, tutte le dimensioni della macchina virtuale HX espongono 4 domini NUMA uniformi che appariranno a un sistema operativo e a un'applicazione, come illustrato di seguito, ognuno con un numero diverso di core a seconda delle dimensioni specifiche della dimensione della macchina virtuale HX.
Ogni dimensione della macchina virtuale HX è simile per layout fisico, funzionalità e prestazioni a una CPU della serie AMD EPYC 9004 diversa, come indicato di seguito:
| Dimensioni della macchina virtuale serie HX | Domini NUMA | Core per dominio NUMA | Similarità con AMD EPYC |
|---|---|---|---|
| Standard_HX176rs | 4 | 44 | Dual-socket EPYC 9V33X |
| Standard_HX176-144rs | 4 | 36 | Dual-socket EPYC 9V33X |
| Standard_HX176-96rs | 4 | 24 | Dual-socket EPYC 9V33X |
| Standard_HX176-48rs | 4 | 12 | Dual-socket EPYC 9V33X |
| Standard_HX176-24rs | 4 | 6 | Dual-socket EPYC 9V33X |
Nota
Le dimensioni delle macchine virtuali con core vincolati riducono solo il numero di core fisici esposti alla macchina virtuale. Tutti gli asset condivisi globali (RAM, larghezza di banda della memoria, cache L3, connettività GMI e xGMI, InfiniBand, rete Ethernet di Azure, unità SSD locale) rimangono costanti. Ciò consente al cliente di scegliere le dimensioni della macchina virtuale più adatte a un determinato set del carico di lavoro o alle esigenze di licenza del software.
Il mapping NUMA virtuale di ogni dimensione della macchina virtuale HX viene mappato in base alla topologia NUMA fisica sottostante. Non esiste un'astrazione potenzialmente fuorviante della topologia hardware.
La topologia esatta per le varie dimensioni della macchina virtuale HX viene visualizzata come segue usando l'output di lstopo:
lstopo-no-graphics --no-io --no-legend --of txt
Fare clic per visualizzare l'output di lstopo per Standard_HX176rs
Fare clic per visualizzare l'output di lstopo per Standard_HX176-144rs
Fare clic per visualizzare l'output di lstopo per Standard_HX176-96rs
Fare clic per visualizzare l'output di lstopo per Standard_HX176-48rs
Fare clic per visualizzare l'output di lstopo per Standard_HX176-24rs
Rete InfiniBand
Le macchine virtuali HX dispongono inoltre di adattatori di rete NVIDIA Mellanox NDR InfiniBand (ConnectX-7) che operano fino a 400 Gigabit/sec. La scheda di interfaccia di rete viene passata alla macchina virtuale tramite SRIOV, consentendo al traffico di rete di ignorare l'hypervisor. Di conseguenza, i clienti caricano driver OFED standard di Mellanox nelle macchine virtuali HX come farebbero in un ambiente bare metal.
Le macchine virtuali HX supportano il routing adattivo, il trasporto connesso dinamico (DCT, insieme ai trasporti standard RC e UD) e l'offload basato su hardware dei collettivi MPI al processore di bordo dell'adattatore ConnectX-7. Queste funzionalità migliorano le prestazioni, la scalabilità e la coerenza dell'applicazione e se ne consiglia l'uso.
Archiviazione temporanea
Le macchine virtuali HX dispongono di 3 dispositivi SSD locali fisici. Uno dei dispositivi viene preformattato per fungere da file di pagina e visualizzato all'interno della macchina virtuale come dispositivo generico "SSD".
Altre due unità SSD di dimensioni maggiori vengono fornite come dispositivi NVMe a blocchi non formattati tramite NVMeDirect. Poiché il dispositivo NVMe a blocchi ignora l'hypervisor, ha una larghezza di banda maggiore, operazioni di I/O al secondo più elevate e una latenza inferiore per IOP.
Se abbinato in una matrice con striping, l'unità SSD NVMe fornisce fino a 12 GB/s in lettura e 7 GB/s in scrittura e fino a 186.000 operazioni di I/O al secondo (letture) e 201.000 operazioni di I/O al secondo (scritture) per profondità di coda profonde.
Specifiche hardware
| Specifiche hardware | Macchine virtuali serie HX |
|---|---|
| Core | 176, 144, 96, 48, o 24 (SMT disabilitato) |
| CPU | AMD EPYC 9V33X |
| Frequenza CPU (non AVX) | Base 2,4 GHz, picco di 3,7 GHz |
| Memoria | 1.4 TB (la RAM per core dipende dalle dimensioni della macchina virtuale) |
| Disco locale | 2 * 1.8 GB NVMe (blocco), SSD da 480 GB (file di pagina) |
| InfiniBand | InfiniBand da 400 Gb/s Mellanox ConnectX-7 NDR |
| Rete | SmartNIC di seconda generazione di Azure da 80 Gb/s Ethernet (40 Gb/s utilizzabili) |
Specifiche software
| Specifiche software | Macchine virtuali serie HX |
|---|---|
| Dimensioni massime processo MPI | 52,800 core (300 macchine virtuali in un singolo set di scalabilità di macchine virtuali con singlePlacementGroup=true) |
| Supporto MPI | HPC-X (2.13 o versione successiva), Intel MPI (2021.7.0 o versione successiva), OpenMPI (4.1.3 o versione successiva), MVAPICH2 (2.3.7 o versione successiva), MPICH (4.1 o versione successiva) |
| Framework aggiuntivi | UCX, libfabric, PGAS o altri runtime basati su InfiniBand |
| Supporto di Archiviazione di Azure | Dischi Standard e Premium (massimo 32 dischi), Azure NetApp Files, File di Azure, Cache HPC di Azure, File system di Managed Lustre di Azure |
| Sistema operativo supportato e convalidato | AlmaLinux 8.6, 8.7, Ubuntu 20.04+ |
| Sistema operativo consigliato per le prestazioni | AlmaLinux HPC 8.7, Ubuntu-HPC 20.04+ |
| Supporto di Orchestrator | Azure CycleCloud, Azure Batch, servizio Azure Kubernetes; opzioni di configurazione del cluster |
Nota
- Queste macchine virtuali supportano solo la seconda generazione.
- Il supporto ufficiale a livello di kernel di AMD inizia con RHEL 8.6 e AlmaLinux 8.6, che è un derivato di RHEL.
- Windows Server 2012 R2 non è supportato in HX e in altre macchine virtuali con più di 64 core (virtuali o fisici). Per altre informazioni, vedere Sistemi operativi guest Windows supportati per Hyper-V in Windows Server. Windows Server 2022 è necessario per le dimensioni core 144 e 176, Windows Server 2016 funziona anche per dimensioni di core 24, 48 e 96, Windows Server funziona solo per le dimensioni core 24 e 48.
Importante
URN immagine consigliata: almalinux:almalinux-hpc:8_7-hpc-gen2:8.7.2023060101, Per distribuire questa immagine nell'interfaccia della riga di comando di Azure, assicurarsi che siano inclusi i parametri seguenti --plan 8_7-hpc-gen2 --product almalinux-hpc --publisher almalinux. Per i test di ridimensionamento, usare l'URN consigliato insieme al nuovo HPC-X tarball.
Nota
- Il supporto NDR viene aggiunto in UCX 1.13 o versione successiva. Le versioni precedenti di UCX segnalano l'errore di runtime precedente. Errore UCX: velocità
[1677010492.951559] [updsb-vm-0:2754 :0] ib_iface.c:1549 UCX ERROR Invalid active_speed on mlx5_ib0:1: 128attiva non valida. - Ibstat mostra bassa velocità (SDR): le versioni precedenti di Mellanox OFED (MOFED) non supportano NDR e potrebbero segnalare velocità IB più lente. Usare le versioni MOFED 5.6-1.0.3.3 o successive.
Passaggi successivi
- Per informazioni sugli annunci più recenti, sugli esempi di carico di lavoro HPC e sui risultati delle prestazioni, vedere i Blog della community tecnica di Calcolo di Azure.
- Per un quadro generale sull'architettura per l'esecuzione di carichi di lavoro HPC, vedere HPC (High Performance Computing) in Azure.