Vue d’ensemble des machines virtuelles de série HX
S’applique à : ✔️ Machines virtuelles Linux ✔️ Machines virtuelles Windows ✔️ Jeux d'échelles flexibles ✔️ Jeux d’échelles uniformes
Un serveur de série HX comprend 2 processeurs EPYC 9V33X à 96 cœurs pour un total de 192 cœurs physiques « Zen4 » avec le cache AMD 3D-V. Le multithreading simultané (SMT) est désactivé sur HX. Ces 192 cœurs sont divisés en 24 sections (12 par socket), chaque section contenant 8 cœurs de processeur avec un accès uniforme à un cache L3 de 96 Mo. Les serveurs HX Azure exécutent également les paramètres du BIOS AMD suivants :
Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled
Par conséquent, le serveur démarre avec 4 domaines NUMA (2 par socket), d’une taille de 48 cœurs chacun. Chaque NUMA a un accès direct à 6 canaux de DRAM physique.
Pour permettre à l’hyperviseur Azure de fonctionner sans interférer avec la machine virtuelle, nous réservons 16 cœurs physiques par serveur.
Topologie des machines virtuelles
Le diagramme suivant montre la topologie du serveur. Nous réservons ces 16 cœurs de l’hôte hyperviseur (jaune) de manière symétrique sur les deux sockets d’UC, en prenant les 2 premiers cœurs des CCD (Core Complex Dies) spécifiques sur chaque domaine NUMA, avec les cœurs restants pour la machine virtuelle de série HX (vert).
La limite CCD est différente de la limite NUMA. Sur HX, un groupe de six (6) CCD consécutifs est configuré en tant que domaine NUMA, à la fois au niveau du serveur hôte et au sein d’une machine virtuelle invitée. Ainsi, toutes les tailles de machine virtuelle HX exposent 4 domaines NUMA qui apparaissent à un système d’exploitation et une application, comme indiqué ci-dessous, chacun avec un nombre différent de cœurs selon la taille de machine virtuelle HX spécifique.
Chaque taille de machine virtuelle HX est similaire dans la disposition physique, les caractéristiques et les performances d’un UC différent de la série AMD EPYC 9004, comme suit :
| Taille de machine virtuelle de série HX | Domaines NUMA | Cœurs par nœud NUMA | Similarité avec AMD EPYC |
|---|---|---|---|
| Standard_HX176rs | 4 | 44 | EPYC 9V33X à double socket |
| Standard_HX176-144rs | 4 | 36 | EPYC 9V33X à double socket |
| Standard_HX176-96rs | 4 | 24 | EPYC 9V33X à double socket |
| Standard_HX176-48rs | 4 | 12 | EPYC 9V33X à double socket |
| Standard_HX176-24rs | 4 | 6 | EPYC 9V33X à double socket |
Notes
Les tailles de machine virtuelle avec cœurs limités réduisent uniquement le nombre de cœurs physiques exposés à la machine virtuelle. Toutes les ressources partagées globales (RAM, bande passante mémoire, cache L3, connectivité GMI et xGMI, InfiniBand, réseau Ethernet Azure, disque SSD local) restent constantes. Cela permet à un client de choisir la taille de machine virtuelle optimale pour un ensemble donné d’exigences en termes de charge de travail ou de licences logicielles.
Le mappage NUMA virtuel de chaque taille de machine virtuelle HX est mappé à la topologie NUMA physique sous-jacente. Il n’y a pas d’abstraction potentiellement trompeuse de la topologie matérielle.
La topologie exacte pour les différentes tailles de machine virtuelle HX apparaît comme suit en utilisant la sortie de lstopo :
lstopo-no-graphics --no-io --no-legend --of txt
Cliquez pour afficher la sortie de lstopo pour Standard_HX176rs
Cliquez pour afficher la sortie de lstopo pour Standard_HX176-144rs
Cliquez pour afficher la sortie de lstopo pour Standard_HX176-96rs
Cliquez pour afficher la sortie de lstopo pour Standard_HX176-48rs
Cliquez pour afficher la sortie de lstopo pour Standard_HX176-24rs
Mise en réseau InfiniBand
Les machines virtuelles HX sont également dotées de cartes réseau NVIDIA Mellanox NDR InfiniBand (ConnectX-7) fonctionnant jusqu’à 400 gigabits/s. La carte réseau est transmise à la machine virtuelle via SR-IOV, ce qui permet au trafic réseau de contourner l’hyperviseur. Par conséquent, les clients chargent des pilotes Mellanox OFED standard sur des machines virtuelles HX de la même manière que sur un environnement matériel nu.
Les machines virtuelles HX prennent en charge le routage adaptatif, le transport connecté dynamique (DCT) (en plus des transports standard RC et UD) et le déchargement matériel des collectifs MPI sur le processeur intégré de l’adaptateur ConnectX-7. Ces fonctionnalités améliorent les performances, la scalabilité et la cohérence des applications, et leur utilisation est recommandée.
Stockage temporaire
Les machines virtuelles HX sont dotées de 3 disques SSD physiques locaux. Un appareil est préformaté pour servir de fichier de page ; il est apparu dans votre machine virtuelle sous forme de disque « SSD » générique.
Deux autres disques SSD de plus grande taille sont fournis en tant qu’appareils NVMe de bloc non formatés via NVMeDirect. Comme l’appareil NVMe de bloc contourne l’hyperviseur, il dispose d’une bande passante plus élevée, d’un nombre IOPS plus élevé et d’une latence inférieure par IOP.
Quand il est associé à une batterie agrégée par bandes, le disque SSD NVMe fournit jusqu’à 12 Go/s de lecture et 7 Go/s d’écriture, et jusqu’à 186 000 IOPS (lectures) et 201 000 IOPS (écritures) pour les profondeurs de file d’attente profondes.
Spécifications matérielles
| Spécifications matérielles | Machines virtuelles de série HX |
|---|---|
| Cœurs | 176, 144, 96, 48 ou 24 (SMT désactivé) |
| UC | AMD EPYC 9V33X |
| Fréquence de l’UC (non AVX) | Base de 2,4 GHz, boost de pointe de 3,7 GHz |
| Mémoire | 1.4 To (RAM par cœur en fonction de la taille de la machine virtuelle) |
| Disque local | 2 disques NVMe de 1,8 Go (bloc), disque SSD de 480 Go (fichier d’échange) |
| InfiniBand | 400 Gbit/s Mellanox ConnectX-7 NDR InfiniBand |
| Réseau | Ethernet 80 Gbit/s (40 Gbit/s utilisables) SmartNIC Azure 2e gén. |
Spécifications logicielles
| Spécifications logicielles | Machines virtuelles de série HX |
|---|---|
| Taille de travail MPI max | 52 800 cœurs (300 machines virtuelles dans un seul groupe de machines virtuelles identiques avec singlePlacementGroup=true) |
| Prise en charge MPI | HPC-X (2.13 ou version ultérieure), Intel MPI (2021.7.0 ou version ultérieure), OpenMPI (4.1.3 ou version ultérieure), MVAPICH2 (2.3.7 ou version ultérieure), MPICH (4.1 ou version ultérieure) |
| Frameworks supplémentaires | UCX, libfabric, PGAS ou autres runtimes basés sur InfiniBand |
| Prise en charge de Stockage Azure | Disques Standard et Premium (32 disques maximum), Azure NetApp Files, Azure Files, Azure HPC Cache, système de fichiers Azure Managed Lustre |
| Systèmes d’exploitation pris en charge et validés | AlmaLinux 8.6, 8.7, Ubuntu 20.04+ |
| Système d’exploitation recommandé pour de meilleures performances | AlmaLinux HPC 8.7, Ubuntu-HPC 20.04+ |
| Prise en charge d’Orchestrator | Azure CycleCloud, Azure Batch, AKS ; options de configuration de cluster |
Notes
- Ces machines virtuelles prennent uniquement en charge la 2e génération.
- La prise en charge officielle au niveau du noyau par AMD commence avec RHEL 8.6 et AlmaLinux 8.6, qui est un dérivé de RHEL.
- Windows Server 2012 R2 n’est pas pris en charge sur HX et autres machines virtuelles ayant plus de 64 cœurs (virtuels ou physiques). Pour plus d’informations, consultez Systèmes d’exploitation invités Windows pris en charge pour Hyper-V sur Windows Server. Windows Server 2022 est requis pour les tailles de 144 et 176 cœurs. Windows Server 2016 fonctionne également pour les tailles de 24, 48 et 96 cœurs. Windows Server ne fonctionne que pour les tailles de 24 et 48 cœurs.
Important
URN d’image recommandé : almalinux:almalinux-hpc:8_7-hpc-gen2:8.7.2023060101. Pour déployer cette image sur Azure CLI, veillez à inclure les paramètres suivants : --plan 8_7-hpc-gen2 --product almalinux-hpc --publisher almalinux. Pour les tests de mise à l’échelle, utilisez l’URN recommandé avec le nouveau HPC-X tarball.
Notes
- La prise en charge de NDR est ajoutée dans UCX 1.13 ou version ultérieure. Les anciennes versions d’UCX signaleront l’erreur d’exécution ci-dessus. Erreur UCX : vitesse active non valide
[1677010492.951559] [updsb-vm-0:2754 :0] ib_iface.c:1549 UCX ERROR Invalid active_speed on mlx5_ib0:1: 128. - Ibstat affiche une faible vitesse (SDR) : les anciennes versions de Mellanox OFED (MOFED) ne prennent pas en charge NDR et peuvent signaler des vitesses IB plus lentes. Utilisez les versions MOFED MOFED 5.6-1.0.3.3 ou ultérieures.
Étapes suivantes
- Consultez les dernières annonces, des exemples de charge de travail HPC et les résultats des performances sur les blogs de la communauté Azure Compute Tech.
- Pour une vision plus globale de l’architecture d’exécution des charges de travail HPC, consultez Calcul haute performance (HPC) sur Azure.