次の方法で共有

InfiniBand を設定する

  • [アーティクル]

この記事では、間もなくサポート終了 (EOL) 状態になる Linux ディストリビューションである CentOS について説明します。 適宜、使用と計画を検討してください。 詳細については、「CentOS のサポート終了に関するガイダンス」を参照してください。

適用対象: ✔️ Linux VM ✔️ Windows VM ✔️ フレキシブル スケール セット ✔️ 均一スケール セット

ヒント

仮想マシン セレクター ツール を使って、ワークロードに最適な他のサイズを見つけてください。

この記事では、InfiniBand (IB) ネットワーク経由で使用される RDMA 対応インスタンスに関するいくつかの情報を共有します。 InfiniBand ネットワーク アーキテクチャは、(高帯域幅と低遅延を提供するネットワーク トポロジである) 完全な fat-tree 設計を特徴とし、非ブロッキングの二分対称性を保証しています。 この構成では、同じ仮想マシン スケール セット (VMSS) 内の任意の 2 つの仮想マシン (VM) 間で同じ帯域幅が提供されます。

RDMA 対応のインスタンス

ほとんどの HPC VM サイズには、リモート ダイレクト メモリ アクセス (RDMA) 接続のためのネットワーク インターフェイスが備わっています。 'r' 表記で識別される一部の N シリーズのサイズも RDMA に対応しています。 このインターフェイスは、標準の Azure イーサネット ネットワーク インターフェイスに加えて、他の VM サイズでも利用可能です。

この 2 番目のインターフェイスは、RDMA 対応インスタンスが InfiniBand ネットワークを介して通信することを可能にし、HBv4、HBv3、HBv2 では HDR レート、HB、HC、HX、NDv2 では EDR レート、H16r、H16mr、およびその他の RDMA 対応 N シリーズ仮想マシンでは FDR レートで動作します。 これらの RDMA 機能により、メッセージ パッシング インターフェイス (MPI) ベースのアプリケーションのスケーラビリティとパフォーマンスが向上します。

注意

SR-IOV サポート: Azure HPC では現在、InfiniBand に対して SR-IOV 対応であるかどうかに応じて、2 つのクラスの VM があります。 現時点では、Azure の新しい世代、RDMA 対応、または InfiniBand 対応の VM は、H16r、H16mr、NC24r を除き、ほぼすべてが SR-IOV 対応です。 RDMA は、InfiniBand ネットワークを経由する場合にだけ有効で、RDMA 対応のすべての VM でサポートされています。 IP over IB は、SR-IOV 対応の VM のみでサポートされています。 RDMA は、イーサネット ネットワーク経由では有効になっていません。

  • オペレーティング システム - CentOS、RHEL、AlmaLinux、Ubuntu、SUSE などの Linux ディストリビューションが一般的に使用されています。 すべての HPC シリーズ VM で Windows Server 2016 およびそれ以降のバージョンがサポートされています。 HBv2 以降と、(仮想または物理) コアが 64 個を超える VM サイズでは Windows Server 2012 R2 はサポートされていないことに注意してください。 Azure Marketplace でサポートされている Linux VM イメージの一覧と、それらを適切に構成する方法については、「VM イメージ」を参照してください。 それぞれの VM サイズのページには、ソフトウェア スタックのサポートの一覧も記載されています。

  • InfiniBand とドライバー - InfiniBand が有効になっている VM では、RDMA を有効にするための適切なドライバーが必要です。 VM 拡張機能について、または InfiniBand ドライバーの手動インストールについて「InfiniBand の有効化」を参照してください。

  • MPI - Azure の SR-IOV 対応 VM サイズでは、ほぼすべてのフレーバーの MPI を Mellanox OFED と一緒に使用できます。 Azure 上の HPC VM での MPI の設定の詳細については、HPC 用の MPI のセットアップに関するページを参照してください。

    注意

    RDMA ネットワーク アドレス空間: Azure の RDMA ネットワークでは、アドレス空間 172.16.0.0/16 は予約済みです。 Azure 仮想ネットワークにデプロイ済みのインスタンスで MPI アプリケーションを実行する場合、仮想ネットワークのアドレス空間が RDMA ネットワークと重複しないようにしてください。

クラスター構成オプション

Azure には、次に示すような、RDMA ネットワークを使用して通信できる HPC VM のクラスターを作成するためのオプションがいくつか用意されています。

  • 仮想マシン - 同じスケール セットまたは可用性セット内に RDMA 対応の HPC VM をデプロイします (Azure Resource Manager デプロイ モデルを使用する場合)。 クラシック デプロイ モデルを使用する場合は、同じクラウド サービス内に VM をデプロイします。

  • Virtual Machine Scale Sets - 仮想マシン スケール セットで、スケール セット内の InfiniBand 通信に対して単一の配置グループにデプロイを制限するようにします。 たとえば、Resource Manager テンプレートでは、singlePlacementGroup プロパティを true に設定します。

singlePlacementGroup=true で起動できるスケール セットの最大サイズは、既定で 100 VM に制限されることに注意してください。 HPC ジョブ スケールにおいて、1 つのテナントで 100 を超える VM が必要な場合は、増加を要求できます。オンライン カスタマー サポートに申請 (無料) してください。 1 つのスケール セットの VM 数の上限は 300 まで増やすことができます。 可用性セットを利用して VM をデプロイするとき、上限は可用性セットあたり 200 VM です。

また、VMSS は、同じクラスター内のワークロード間の分離境界として機能し、異なる VMSS 内のインスタンスを互いに分離された状態に保ち、セキュリティを保証します。

Note

仮想マシン間の MPI: 仮想マシン間の RDMA (例: MPI 通信の使用) が必要な場合は、それらの VM が同じ仮想マシン スケール セットまたは可用性セット内に含まれていることを確認してください。

デプロイに関する考慮事項

  • Azure サブスクリプション – 多数のコンピューティング集中型インスタンスをデプロイするには、従量課金制サブスクリプションまたは他の購入オプションを検討してください。 Azure 無料アカウントを使用している場合は、使用できる Azure コンピューティング コアの数に制限があります。

  • 料金と利用可能な製品 - Azure リージョン別の VM 料金および利用可能な製品に関するページをご確認ください。

  • コア クォータ – 場合によっては、Azure サブスクリプションのコア クォータを既定値から増やす必要があります。 サブスクリプションによっては、H シリーズを含む特定の VM サイズ ファミリにデプロイできるコア数が制限されることがあります。 クォータを増やすためのリクエストは、オンライン カスタマー サポートに申請 (無料) してください。 (既定の制限は、サブスクリプション カテゴリによって異なる場合があります。)

    Note

    大規模な容量が必要な場合は、Azure サポートにお問い合わせください。 Azure のクォータは容量保証ではなくクレジット制限です。 クォータに関係なく、使用したコアに対してのみ課金されます。

  • 仮想ネットワーク – コンピューティング集中型インスタンスを使用するために、Azure Virtual Network は不要です。 ただし、多くのデプロイでは、少なくともクラウド ベースの Azure Virtual Network またはサイト間接続 (オンプレミス リソースへのアクセスが必要な場合) が必要になります。 必要に応じて、新しい仮想ネットワークを作成して、インスタンスをデプロイします。 アフィニティ グループ内の仮想ネットワークにコンピューティング集中型の VM を追加することはできません。

  • サイズ変更 - 特殊なハードウェアが使用されるため、コンピューティング集中型インスタンスのサイズ変更は同じサイズのファミリ (H シリーズまたは N シリーズ) 内でのみ可能です。 たとえば、H シリーズの VM は H シリーズのあるサイズから別のサイズにのみ変更できます。 VM によっては、InfiniBand ドライバーのサポートと NVMe ディスクに関するその他の考慮事項に注意する必要があります。

次のステップ