HX シリーズの仮想マシンの概要

[アーティクル]
10/15/2024

適用対象: ✔️ Linux VM ✔️ Windows VM ✔️ フレキシブルスケールセット ✔️ 均一スケールセット

HX シリーズのサーバーは 96 コア EPYC 9V33X CPU を 2 個搭載しており、AMD 3D-V キャッシュを搭載した "Zen4" の物理コア数は合計で 192 個となります。同時マルチスレッド (SMT) は HX では無効になっています。これら 192 個のコアは 24 個のセクション (ソケットあたり 12 個) に分けられ、各セクションには 96 MB の L3 キャッシュへの一様なアクセスを備えた 8 個のプロセッサコアが含まれます。 Azure HX サーバーでは、次の AMD BIOS 設定も実行されます。

Nodes per Socket (NPS) = 2
L3 as NUMA = Disabled
NUMA domains within VM OS = 4
C-states = Enabled

その結果、サーバーはそれぞれのサイズが 48 コアである 4 個の NUMA ドメイン (ソケットあたり 2 個) でブートします。各 NUMA は、6 チャネルの物理 DRAM に直接アクセスできます。

Azure ハイパーバイザーが VM に干渉することなく動作する余地を与えるため、サーバーあたり 16 個の物理コアを確保しています。

VM のトポロジ

次の図は、サーバーのトポロジを示しています。これらの 16 個のハイパーバイザーホストコア (黄色) が両方の CPU ソケットに対して対称的に確保されており、最初の 2 個のコアは各 NUMA ドメインにある特定の Core Complex Die (CCD) から確保されており、残りのコアは、HX シリーズ VM 用 (緑色) です。

HX シリーズサーバーのトポロジのスクリーンショット。

CCD 境界は NUMA 境界とは異なります。 HX では、ホストサーバーレベルとゲスト VM 内の両方で、6 個の連続する CCD のグループが NUMA ドメインとして構成されます。したがって、すべての HX VM サイズで、下に示されているように OS とアプリケーションにとっては 4 個に見える一様な NUMA ドメインが公開されます。これらは、特定の HX VM サイズに基づいて、それぞれコアの数が異なります。

HX シリーズ VM のトポロジのスクリーンショット。

各 HX VM のサイズは、次のように、AMD EPYC 9004 シリーズの各種 CPU の物理レイアウト、機能、パフォーマンスに類似しています。

HX シリーズ VM のサイズ	NUMA ドメイン	NUMA ドメインごとのコア数	AMD EPYC との類似性
Standard HX176rs	4	44	デュアルソケット EPYC 9V33X
Standard HX176 144rs	4	36	デュアルソケット EPYC 9V33X
Standard HX176 96rs	4	24	デュアルソケット EPYC 9V33X
Standard HX176 48rs	4	12	デュアルソケット EPYC 9V33X
Standard HX176 24rs	4	6	デュアルソケット EPYC 9V33X

注意

制約付きコア VM のサイズでは、VM に公開される物理コアの数のみ減少します。すべてのグローバル共有アセット (RAM、メモリ帯域幅、L3 キャッシュ、GMI および xGMI 接続、InfiniBand、Azure イーサネットネットワーク、ローカル SSD) は一定のままです。これにより、お客様は特定のワークロードまたはソフトウェアライセンスのニーズに合わせて最適な VM サイズを選択できます。

各 HX VM サイズの仮想 NUMA マッピングは、基になる物理 NUMA トポロジにマップされます。ハードウェアトポロジが誤って抽象化される可能性はありません。

各種の HX VM サイズの正確なトポロジは、lstopo の出力を使用して次のように表示されます。

lstopo-no-graphics --no-io --no-legend --of txt

クリックして Standard_HX176rs に対する Istopo の出力を確認する

HX-176 VM に対する Istopo の出力

クリックして Standard_HX176-144rs に対する Istopo の出力を確認する

HX-144 VM に対する Istopo の出力

クリックして Standard_HX176-96rs に対する Istopo の出力を確認する

HX-96 VM の Istopo 出力

クリックして Standard_HX176-48rs に対する Istopo の出力を確認する

HX-48 VM の Istopo 出力

クリックして Standard_HX176-24rs に対する Istopo の出力を確認する

HX-24 VM の Istopo 出力

InfiniBand ネットワーク

HX VM は最大 400 GB/秒で動作する NVIDIA Mellanox NDR InfiniBand ネットワークアダプター (ConnectX-7) も搭載しています。NIC は SRIOV 経由で VM に渡されるため、ネットワークトラフィックがハイパーバイザーをバイパスできます。その結果、標準の Mellanox OFED ドライバーが、ベアメタル環境と同様に HX VM にロードされます。

HX VM では、アダプティブルーティング、(標準の RC および UD トランスポートに加えて) Dynamic Connected Transport (DCT)、ConnectX-7 アダプターのオンボードプロセッサへのハードウェアベースの MPI コレクティブのオフロードもサポートされています。これらの機能により、アプリケーションのパフォーマンス、スケーラビリティ、および整合性が向上するため、それらを使用することをお勧めします。

一時ストレージ

HX VM は、物理的なローカル SSD デバイスを 3 個搭載しています。 1 つのデバイスがページファイルとして機能するよう事前フォーマットされており、VM 内に汎用 "SSD" デバイスとして表示されました。

他の 2 つのより大きな SSD は、NVMeDirect を介した未フォーマットのブロック NVMe デバイスとして提供されています。ブロック NVMe デバイスはハイパーバイザーをバイパスするので、帯域幅が大きく、IOPS が向上し、IOP あたりの待機時間が短いです。

ストライピングされた配列でペアになっている場合、NVMe SSD は最大 12 GB/秒の読み取りと 7 GB/秒の書き込み、そして深いキュー深度に対する最大 186,000 の IOPS (読み取り) と 201,000 の IOPS (書き込み) を提供します。

ハードウェア仕様

ハードウェア仕様	HX シリーズ VM
コア	176、144、96、48、または 24 (SMT 無効)
CPU	AMD EPYC 9V33X
CPU 周波数 (非 AVX)	2.4 GHz ベース、3.7 GHz ピークブースト
メモリ	1.4 TB (コアあたりの RAM は VM のサイズによって異なります)
ローカルディスク	2 * 1.8 TB NVMe (ブロック)、480 GB SSD (ページファイル)
InfiniBand	400 Gb/秒 Mellanox ConnectX-7 NDR InfiniBand
ネットワーク	80 Gb/秒イーサネット (40 Gb/秒使用可能) Azure 第 2 世代 SmartNIC

ソフトウェア仕様

ソフトウェア仕様	HX シリーズ VM
最大 MPI ジョブサイズ	52,800 コア (singlePlacementGroup が true の場合、1 つの仮想マシンスケールセットに 300 個の VM)
MPI のサポート	HPC-X (2.13 以降)、Intel MPI (2021.7.0 以降)、OpenMPI (4.1.3 以降)、MVAPICH2 (2.3.7 以降)、MPICH (4.1 以降)
その他のフレームワーク	UCX、libfabric、PGAS、またはその他の InfiniBand ベースのランタイム
Azure Storage のサポート	Standard ディスクと Premium ディスク (最大 32 個のディスク)、Azure NetApp Files、Azure Files、Azure HPC Cache、Azure Managed Lustre ファイルシステム
サポートされている検証済みの OS	AlmaLinux 8.6、8.7、Ubuntu 20.04+
パフォーマンス向上のために推奨される OS	AlmaLinux HPC 8.7、Ubuntu-HPC 20.04+
Orchestrator のサポート	Azure CycleCloud、Azure Batch、AKS。クラスター構成オプション

注意

これらの VM では、第 2 世代のみがサポートされます。
AMD によるカーネルレベルの公式サポートは RHEL 8.6 と AlmaLinux 8.6 (RHEL の派生版) からとなります。
Windows Server 2012 R2 は、HX、および 64 個を超える (仮想または物理) コアを備えたその他の VM ではサポートされていません。詳細については、「Windows Server 上の Hyper-V でサポートされている Windows ゲストオペレーティングシステム」を参照してください。 144 と 176 のコアサイズには Windows Server 2022 が必要です。Windows Server 2016 は 24、48、96 のコアサイズでも機能し、Windows Server は 24 と 48 のコアサイズでのみ機能します。

重要

推奨イメージの URN: almalinux:almalinux-hpc:8_7-hpc-gen2:8.7.2023060101。Azure CLI 経由でこのイメージをデプロイするには、パラメーター --plan 8_7-hpc-gen2 --product almalinux-hpc --publisher almalinux が含まれていることを確認します。スケーリングテストには、推奨される URN と新しい HPC-X tarball を使用してください。

Note

NDR のサポートは UCX 1.13 以降に追加されました。古い UCX バージョンでは、次のランタイムエラーが報告されます。 UCX エラー: Invalid active speed [1677010492.951559] [updsb-vm-0:2754 :0] ib_iface.c:1549 UCX ERROR Invalid active_speed on mlx5_ib0:1: 128.
Ibstat は低速 (SDR) を示す場合: 古い Mellanox OFED (MOFED) バージョンでは NDR がサポートされていないため、IB の速度が遅くなる可能性があります。 MOFED バージョン MOFED 5.6-1.0.3.3 以上を使用してください。

次のステップ

Azure Compute Tech Community のブログで、最新の発表、HPC ワークロードの例、およびパフォーマンスの結果について参照します。
HPC ワークロードの実行をアーキテクチャの面から見た概要については、「Azure でのハイパフォーマンスコンピューティング (HPC)」をご覧ください。

次の方法で共有