Introducción a las máquinas virtuales de la serie HBv4
Se aplica a: ✔️ Máquinas virtuales Linux ✔️ Máquinas virtuales Windows ✔️ Conjuntos de escalado flexibles ✔️ Conjuntos de escalado uniformes
Un servidor de la serie HBv4 consta de 2 CPU de 96 núcleos EPYC 9V33X para un total de 192 núcleos físicos "Zen4" con caché AMD 3D-V. El multithreading simultáneo (SMT) está deshabilitado en HBv4. Estos 192 núcleos se dividen en 24 secciones (12 por socket), cada una de las cuales contiene 8 núcleos de procesador con acceso uniforme a una caché L3 de 96 MB. Los servidores HBv4 de Azure también tienen la siguiente configuración de BIOS de AMD:
Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled
Como resultado, el servidor se inicia con 4 dominios NUMA (2 por socket), cada uno con un tamaño de 48 núcleos. Cada NUMA tiene acceso directo a 6 canales de DRAM física.
Para dejar margen suficiente para que el hipervisor de Azure funcione sin interferir con la máquina virtual, se reservan 16 núcleos físicos por servidor.
Topología de las VM
En el siguiente diagrama se muestra la topología del servidor. Nos reservamos estos 16 núcleos de host de hipervisor (en amarillo) simétricamente entre ambos sockets de CPU, tomando los primeros 2 núcleos de matrices de complejos de núcleos (CCD) específicas en cada dominio NUMA, con el resto de los núcleos de VM de la serie HBv4 (en verde).
El límite CCD es diferente de un límite NUMA. En HBv4, se configura un grupo de seis (6) CCD consecutivos como dominio NUMA, tanto en el nivel de servidor host como en una VM invitada. Por lo tanto, todos los tamaños de VM HBv4 exponen 4 dominios NUMA uniformes que se muestran a un sistema operativo y a una aplicación como se muestra a continuación, cada uno con un número diferente de núcleos según el tamaño de VM HBv4 específico.
Cada tamaño de VM de HBv4 tiene un diseño físico, características y rendimiento similares de una CPU diferente de la serie AMD EPYC 9V33X, como se indica a continuación:
| Tamaño de VM HBv4 | Dominios NUMA | Núcleos por dominio NUMA | Similitud con AMD EPYC |
|---|---|---|---|
| Standard_HB176rs_v4 | 4 | 44 | EPYC 9V33X de doble socket |
| Standard_HB176-144rs_v4 | 4 | 36 | EPYC 9V33X de doble socket |
| Standard_HB176-96rs_v4 | 4 | 24 | EPYC 9V33X de doble socket |
| Standard_HB176-48rs_v4 | 4 | 12 | EPYC 9V33X de doble socket |
| Standard_HB176-24rs_v4 | 4 | 6 | EPYC 9V33X de doble socket |
Nota
Los tamaños de VM de núcleos restringidos solo reducen el número de núcleos físicos expuestos a la VM. Todos los recursos compartidos globales (RAM, ancho de banda de memoria, caché L3, conectividad GMI y xGMI, InfiniBand, red Ethernet de Azure y SSD local) permanecen constantes. Esto permite que el cliente elija un tamaño de máquina virtual que se adapte mejor a un conjunto determinado de necesidades de licencia de software o carga de trabajo.
La asignación de NUMA virtual de cada tamaño de VM HBv4 se asigna a la topología NUMA física subyacente. No existe una abstracción potencialmente engañosa de la topología de hardware.
La topología exacta para los distintos tamaños de VM HBv4 se muestra a continuación con la salida de lstopo:
lstopo-no-graphics --no-io --no-legend --of txt
Haga clic para ver la salida de lstopo para Standard_HB176rs_v4
Haga clic para ver la salida de lstopo para Standard_HB176-144rs_v4
Haga clic para ver la salida de lstopo para Standard_HB176-96rs_v4
Haga clic para ver la salida de lstopo para Standard_HB176-48rs_v4
Haga clic para ver la salida de lstopo para Standard_HB176-24rs_v4
Redes InfiniBand
Las máquinas virtuales HBv4 también incluyen adaptadores de red NDR InfiniBand de NVIDIA Mellanox (ConnectX-7), que funcionan a un máximo de 400 gigabits/s. La NIC se pasa a la máquina virtual mediante SRIOV, lo que permite que el tráfico de red omita el hipervisor. Como resultado, los clientes cargan los controladores OFED de Mellanox estándar en máquinas virtuales HBv4 como si fueran un entorno sin sistema operativo.
Las máquinas virtuales HBv4 admiten el enrutamiento adaptable, el transporte de conexión dinámica (DCT, además de los transportes estándar de RC y UD) y la descarga basada en hardware de colectivos MPI en el procesador incorporado del adaptador ConnectX-7. Estas características mejoran el rendimiento, la escalabilidad y la coherencia de las aplicaciones, y se recomienda su uso.
Almacenamiento temporal
Las máquinas virtuales HBv4 cuentan con 3 dispositivos SSD locales físicamente. Un dispositivo está preformateado para que sirva como archivo de paginación y aparece dentro de la máquina virtual como un dispositivo "SSD" genérico.
Se proporcionan otros dos SSD más grandes como dispositivos de NVMe de bloque sin formato mediante NVMeDirect. Dado que el dispositivo de NVMe de bloque omite el hipervisor, tiene más ancho de banda, más IOPS y menos latencia por IOP.
Cuando se empareja en una matriz seccionada, el SSD de NVMe proporciona lecturas de hasta 12 GB/s y escrituras de 7 GB/s, y hasta 186 000 IOPS (lecturas) y 201 000 IOPS (escrituras) para profundidades de cola altas.
Especificaciones del hardware
| Especificaciones del hardware | Máquinas virtuales de la serie HBv4 |
|---|---|
| Núcleos | 176, 144, 96, 48 o 24 (SMT deshabilitado) |
| CPU | AMD EPYC 9V33X |
| Frecuencia de CPU (no AVX) | Base de 2,4 GHz, aumento de pico de 3,7 GHz |
| Memoria | 768 GB (la RAM por núcleo depende del tamaño de la máquina virtual) |
| Disco local | 2 NVMe de 1,8 TB (bloque), SSD de 480 GB (archivo de paginación) |
| Infiniband | Mellanox ConnectX-7 NDR InfiniBand a 400 Gb/s |
| Red | Ethernet a 80 Gb/s (40 Gb/s útiles) SmartNIC de segunda generación de Azure |
Especificaciones de software
| Especificaciones de software | Máquinas virtuales de la serie HBv4 |
|---|---|
| Tamaño de trabajo de MPI máximo | 52 800 núcleos (300 máquinas virtuales en un solo conjunto de escalado de máquinas virtuales con singlePlacementGroup=true) |
| Compatibilidad con MPI | HPC-X (2.13 o superior), Intel MPI (2021.7.0 o superior), OpenMPI (4.1.3 o superior), MVAPICH2 (2.3.7 o superior), MPICH (4.1 o superior) |
| Otros marcos | UCX, libfabric, PGAS u otros runtimes basados en InfiniBand |
| Soporte técnico para Azure Storage | Discos Estándar y Premium (un máximo 32 discos), Azure NetApp Files, Azure Files, Azure HPC Cache, Sistema de archivos de Azure Managed Lustre |
| Sistema operativo con soporte y validado | AlmaLinux 8.6, 8.7, Ubuntu 20.04+ |
| SO recomendado para el rendimiento | AlmaLinux HPC 8.7, Ubuntu-HPC 20.04+ |
| Compatibilidad con Orchestrator | Azure CycleCloud, Azure Batch, AKS; opciones de configuración de clústeres |
Nota
- Estas máquinas virtuales solo admiten la generación 2.
- La compatibilidad oficial de nivel de kernel de AMD comienza con RHEL 8.6 y AlmaLinux 8.6, que es un derivado de RHEL.
- Windows Server 2012 R2 no se admite en VM HBv4 ni en otras con más de 64 núcleos (virtuales o físicos). Para más detalles, consulte el artículo sobre los Sistemas operativos invitados Windows admitidos para Hyper-V en Windows Server. Windows Server 2022 es necesario para tamaños de núcleo de 144 y 176, Windows Server 2016 también funciona para tamaños de 24, 48 y 96 núcleos, Windows Server funciona solo para tamaños de 24 y 48 núcleos.
Importante
URN de imagen recomendado: almalinux:almalinux-hpc:8_7-hpc-gen2:8.7.2023060101, Para implementar esta imagen a través de la CLI de Azure, asegúrese de incluir los siguientes parámetros --plan 8_7-hpc-gen2 --product almalinux-hpc --publisher almalinux. Para las pruebas de escalado, utilice el URN recomendado junto con el nuevo tarball HPC-X.
Nota
- La compatibilidad con NDR se añade en UCX 1.13 o posterior. Las versiones anteriores de UCX informarán del error de ejecución anterior. Error UCX: Velocidad activa no válida
[1677010492.951559] [updsb-vm-0:2754 :0] ib_iface.c:1549 UCX ERROR Invalid active_speed on mlx5_ib0:1: 128. - Ibstat muestra velocidad baja (SDR): las versiones más antiguas de Mellanox OFED (MOFED) no permiten NDR y pueden informar de velocidades de IB más lentas. Use las versiones MOFED MOFED 5.6-1.0.3.3 o superior.
Pasos siguientes
- En los blogs de Azure Compute Community Tech, encontrará los anuncios más recientes, ejemplos de la carga de trabajo HPC y resultados de HPC.
- Si desea una visión general de la arquitectura de la ejecución de cargas de trabajo de HPC, consulte Informática de alto rendimiento (HPC) en Azure.