Azure Local のホスト ネットワーク要件
適用対象: Azure Local バージョン 23H2 および 22H2
このトピックでは、Azure Local のホスト ネットワークに関する考慮事項と要件について説明します。 データセンター アーキテクチャとマシン間の物理接続については、「 Physical ネットワークの要件を参照してください。
Network ATC を使用してホスト ネットワークを単純化する方法の詳細については、「Network ATC を使用してホスト ネットワークを単純化する」を参照してください。
ネットワーク トラフィックの種類
Azure ローカル ネットワーク トラフィックは、目的に応じて分類できます。
- 管理トラフィック: ローカル システムの内外のトラフィック。 たとえば、記憶域レプリカのトラフィックや、リモート デスクトップ、Windows Admin Center、Active Directory などのシステムの管理に管理者が使用するトラフィックなどです。
- コンピューティング トラフィック: 仮想マシン (VM) が送信元または送信先となるトラフィック。
- ストレージ トラフィック: 記憶域スペース ダイレクトや SMB ベースのライブ移行など、サーバー メッセージ ブロック (SMB) を使用したトラフィック。 このトラフィックはレイヤー 2 トラフィックであり、ルーティングできません。
重要
ストレージ レプリカでは、非 RDMA ベースの SMB トラフィックが使用されます。 このこと、およびトラフィックの方向性 (南北) は、従来のファイル共有の場合と同様に、上記の "管理" トラフィックと密接に一致します。
ネットワーク アダプターを選択する
ネットワーク アダプターは、その使用がサポートされている ネットワーク トラフィックの種類 (上記参照) によって限定されます。 Windows Server カタログを確認すると、Windows Server 2022 認定に次のロールが 1 つ以上示されるようになっています。 Azure Local 用のマシンを購入する前に、少なくとも 少なくとも 3 つのトラフィックの種類すべてが Azure Local で必要であるため、管理、コンピューティング、ストレージに対して修飾されたアダプターが 1 つ必要です。 そうすれば、Network ATC を使用して、適切なトラフィックの種類に合わせてアダプターを構成できます。
この役割ベースの NIC 認定の詳細については、この Windows Server のブログ投稿を参照してください。
重要
適格なトラフィックの種類以外のアダプターの使用はサポートされていません。
| Level | 管理ロール | コンピューティング ロール | ストレージ ロール |
|---|---|---|---|
| ロールベースの区別 | 管理 | Compute Standard | Storage Standard |
| 最大賞 | 適用外 | Compute Premium | Storage Premium |
Note
このエコシステム内の各アダプターの最高レベルの資格には、Management、Compute Premium、Storage Premium の資格があります。
ドライバーの要件
受信トレイ ドライバーは、Azure Local での使用はサポートされていません。 アダプターで受信トレイのドライバーが使用されているかどうかを確認するには、次のコマンドレットを実行します。 DriverProvider プロパティが Microsoft の場合、アダプターで受信トレイのドライバーが使用されています。
Get-NetAdapter -Name <AdapterName> | Select *Driver*
主なネットワーク アダプター機能の概要
Azure Local で使用される重要なネットワーク アダプター機能は次のとおりです。
- 動的仮想マシン マルチキュー (動的 VMMQ または d.VMMQ)
- リモート ダイレクト メモリ アクセス (RDMA)
- ゲスト RDMA
- スイッチが埋め込まれたチーミング (設定)
動的 VMMQ
コンピューティング (Premium) 資格を持つすべてのネットワーク アダプターは、動的 VMMQ をサポートします。 動的 VMMQ では、スイッチ埋め込みチーミングを使用する必要があります。
適用可能なトラフィックの種類: コンピューティング
認定が必要: コンピューティング (Premium)
動的 VMMQ は、インテリジェントな受信側テクノロジです。 動的 VMMQ は、従来の仮想マシン キュー (VMQ)、仮想 Receive Side Scaling (vRSS)、および VMMQ に基づいて構築されており、次の 3 つの主要な機能強化が行われています。
- 少ない CPU コアを使用してホスト効率を最適化します。
- CPU コアへのネットワーク トラフィック処理を自動チューニングすることで、VM で期待されるスループットを満たして維持できるようにします。
- "バースト" ワークロードが予想される量のトラフィックを受信できるようにします。
動的 VMMQ の詳細については、ブログ記事「統合アクセラレータ」を参照してください。
RDMA
RDMA は、ネットワーク アダプターに対するネットワーク スタック オフロードです。 これにより、SMB 記憶域トラフィックがオペレーティング システムをバイパスして処理できるようになります。
RDMA は、ホスト CPU リソースの使用を最小限に抑え、高スループットで待機時間の短いネットワークを実現します。 これらのホスト CPU リソースを使用して、追加の VM またはコンテナーを実行できます。
適用可能なトラフィックの種類: ホスト ストレージ
認定が必要: Storage (Standard)
Storage (Standard) または Storage (Premium) 認定を持つすべてのアダプターは、ホスト側 RDMA をサポートします。 ゲスト ワークロードでの RDMA の使用の詳細については、この記事で後述する「ゲスト RDMA」セクションを参照してください。
Azure Local では、インターネット ワイド エリア RDMA プロトコル (iWARP) または RDMA over Converged Ethernet (RoCE) プロトコル実装の RDMA がサポートされています。
重要
RDMA アダプターは、同じ RDMA プロトコル (iWARP または RoCE) を実装する他の RDMA アダプターでのみ機能します。
ベンダーのすべてのネットワーク アダプターが RDMA をサポートしているわけではありません。 次の表に、認定 RDMA アダプターを提供するベンダー (アルファベット順) を示します。 ただし、この一覧に含まれていないハードウェア ベンダーも RDMA をサポートしています。 RDMA のサポートを必要とする Storage (Standard) または Storage (Premium) 認定を持つアダプターについては、 Windows Server カタログ を参照してください。
Note
InfiniBand (IB) は Azure Local ではサポートされていません。
| NIC ベンダー | iWARP | RoCE |
|---|---|---|
| Broadcom | いいえ | はい |
| Intel | はい | はい (一部のモデル) |
| Marvell (Qlogic) | はい | はい |
| NVIDIA | いいえ | はい |
ホストの RDMA の展開の詳細については、ネットワーク ATC を使用することを強くお勧めします。 手動デプロイの詳細については、 SDN GitHub リポジトリを参照してください。
iWARP
iWARP では伝送制御プロトコル (TCP) を使用します。また、必要に応じて、優先順位ベースのフロー制御 (PFC) と拡張伝送サービス (ETS) を使用して拡張することもできます。
次の場合に iWARP を使用します。
- RDMA ネットワークの管理経験がありません。
- トップ オブ ラック (ToR) スイッチを管理したり、不快に管理したりすることはありません。
- デプロイ後にソリューションを管理しない場合。
- 既に iWARP を使用したデプロイが存在する場合。
- どのオプションを選択したらよいかわからない場合。
RoCE
RoCE は、ユーザー データグラム プロトコル (UDP) を使用しており、信頼性を確保するために PFC と ETS を必要とします。
次の場合に RoCE を使用します。
- データセンターに RoCE を使用したデプロイが既に存在する場合。
- DCB のネットワーク要件を管理することに慣れている場合。
ゲスト RDMA
ゲスト RDMA を使用すると、ホスト上で RDMA を使用する場合と同じ利点を VM の SMB ワークロードで得ることができます。
適用可能なトラフィックの種類: ゲスト ベースのストレージ
認定が必要: コンピューティング (Premium)
ゲスト RDMA を使用する主な利点は次のとおりです。
- ネットワーク トラフィック処理のための NIC への CPU オフロード。
- 非常に短い待機時間。
- 高スループット。
詳細情報については、SDN GitHub リポジトリからドキュメントをダウンロードしてください。
スイッチが埋め込まれたチーミング (設定)
SET は、Windows Server 2016 以降の Windows Server オペレーティング システムに含まれているソフトウェア ベースのチーミング テクノロジです。 SET は、Azure Local でサポートされている唯一のチーミング テクノロジです。 SET はコンピューティング、ストレージ、管理のトラフィックに対して適切に機能し、同じチーム内の最大 8 つのアダプターでサポートされます。
適用可能なトラフィックの種類: コンピューティング、ストレージ、管理
認定が必要: コンピューティング (Standard) またはコンピューティング (Premium)
SET は、Azure Local でサポートされている唯一のチーミング テクノロジです。 SET は、コンピューティング、ストレージ、管理の各トラフィックで効果的に機能します。
重要
Azure Local では、以前の負荷分散/フェールオーバー (LBFO) との NIC チーミングはサポートされていません。 Azure Local での LBFO の詳細については、ブログ投稿「 Azure Local Teaming」を参照してください。
SET は Azure Local にとって重要です。これは、以下を可能にする唯一のチーミング テクノロジであるためです。
- RDMA アダプターのチーミング (必要な場合)。
- ゲスト RDMA。
- 動的 VMMQ。
- その他の主要な Azure ローカル機能 (「 Azure Local でのチーム化」を参照)。
SET では、対称 (同一) アダプターを使う必要があります。 対称ネットワーク アダプターとは、次のものが同じであるアダプターです。
- メーカー (ベンダー)
- モデル (バージョン)
- 速度 (スループット)
- configuration
22H2 では、選択したアダプターが非対称であるかどうかを Network ATC が自動的に検出して通知します。 アダプターが対称であるかどうかを手動で識別する最も簡単な方法は、速度とインターフェイスの説明が一致かどうかです。 相違が許容されるのは、説明に記載されている数字のみです。 Get-NetAdapterAdvancedProperty コマンドレットを使用して、報告された構成に必ず同じプロパティ値が表示されるようにします。
次の表で、数字 (#) のみが異なっているインターフェイスの説明の例を確認してください。
| Name | インターフェイスの説明 | リンク速度 |
|---|---|---|
| NIC1 | ネットワーク アダプター #1 | 25 Gbps |
| NIC2 | ネットワーク アダプター #2 | 25 Gbps |
| NIC3 | ネットワーク アダプター #3 | 25 Gbps |
| NIC4 | ネットワーク アダプター #4 | 25 Gbps |
Note
SET では、動的または Hyper-V ポートの負荷分散アルゴリズムを使用し、スイッチに依存しない構成のみがサポートされます。 最適なパフォーマンスを得るには、Hyper-V ポートは、すべて 10 Gbps 以上で動作する NIC で使用することをお勧めします。 ネットワーク ATC では、SET に必要なすべての構成が行われます。
RDMA トラフィックに関する考慮事項
DCB を実装する場合は、ネットワーク スイッチを含むすべてのネットワーク ポート全体で、PFC と ETS の構成が正しく実装されていることを確認する必要があります。 DCB は、RoCE の場合は必須であり、iWARP の場合は省略可能です。
RDMA のデプロイ方法の詳細情報については、SDN GitHub リポジトリからドキュメントをダウンロードしてください。
RoCE ベースの Azure Local 実装では、ファブリックとすべてのホストにわたって、既定のトラフィック クラスを含む 3 つのPFC トラフィック クラスを構成する必要があります。
システム トラフィック クラス
このトラフィック クラスにより、システム ハートビート用に十分な帯域幅が確保されます。
- 必須: はい
- PFC 対応: いいえ
- 推奨されるトラフィックの優先順位: 優先順位 7
- 推奨される帯域幅の予約:
- 10 GbE 以下の RDMA ネットワーク = 2 パーセント
- 25 GbE 以下の RDMA ネットワーク = 1 パーセント
RDMA トラフィック クラス
このトラフィック クラスは、SMB ダイレクトを使用することにより、無損失 RDMA 通信用に十分な帯域幅があることを保証します。
- 必須: はい
- PFC 対応: はい
- 推奨されるトラフィックの優先順位: 優先順位 3 または 4
- 推奨される帯域幅予約: 50 パーセント
既定のトラフィック クラス
このトラフィック クラスには、VM トラフィックや管理トラフィックなど、システムまたは RDMA トラフィック クラスで定義されていない他のすべてのトラフィックが含まれます。
- 必須: 既定 (ホストで構成は必要ありません)
- フロー制御 (PFC) 対応: いいえ
- 推奨されるトラフィック クラス: 既定 (優先度 0)
- 推奨帯域幅の予約: 既定 (ホスト構成は必要ありません)
ストレージ トラフィック モデル
SMB には、SMB マルチチャネルなど、Azure Local のストレージ プロトコルとして多くの利点があります。 SMB マルチチャネルはこの記事では扱いませんが、SMB マルチチャネルが使用できるあらゆるリンクでトラフィックが多重化されていることを理解することが重要です。
Note
Azure Local で複数のサブネットと VLAN を使用してストレージ トラフィックを分離することをお勧めします。
次の 4 つのノード システムの例を考えてみましょう。 各マシンには、2 つのストレージ ポート (左側と右側) があります。 各アダプターは同じサブネットと VLAN 上にあるため、SMB マルチチャネルでは、利用可能なすべてのリンクに接続が分散されます。 したがって、最初のマシン (192.168.1.1) の左側のポートは、2 台目のコンピューター (192.168.1.2) の左側のポートに接続されます。 最初のマシン (192.168.1.12) の右側のポートは、2 台目のコンピューターの右側のポートに接続されます。 3 台目と 4 台目のマシンでも同様の接続が確立されます。
ただし、これにより、不要な接続が作成され、ToR スイッチに接続するインターリンク (マルチシャーシ リンク アグリゲーション グループまたは MC-LAG) で輻輳が発生します (X 印の部分)。 次の図を参照してください。
推奨されるアプローチは、アダプターのセットごとに個別のサブネットと VLAN を使用する方法です。 次の図では、右側のポートでサブネット 192.168.2.x /24 と VLAN2 が使用されています。 これにより、左側のポートのトラフィックは TOR1 に保持され、右側のポートのトラフィックは TOR2 に保持されます。
トラフィックの帯域幅の割り当て
次の表は、Azure Local の一般的なアダプター速度を使用した、さまざまな種類のトラフィックの帯域幅割り当ての例を示しています。 これは集中型ソリューションの例であり、すべてのトラフィックの種類 (コンピューティング、ストレージ、管理) が同じ物理アダプター上で実行され、SET の使用によりチーミングされていることに注意してください。
このユース ケースでは、最も多くの制約が課されるため、適切なベースラインとなります。 ただし、これは、アダプターの数と速度の順列を考慮して、サポート要件ではなく、1 つの例として考える必要があります。
この例では、次のことを前提としています。
チームごとに 2 つのアダプターがある。
記憶域バス レイヤー (SBL)、クラスター共有ボリューム (CSV)、Hyper-V (ライブ マイグレーション) トラフィックについて
- 同じ物理アダプターを使用する。
- SMB を使用する。
SMB には DCB を使用して 50% の帯域幅が割り当てられている。
- SBL/CSV は最も優先順位の高いトラフィックであり、SMB 帯域幅の予約の 70 パーセントが割り当てられます。
- ライブ マイグレーション (LM) は
Set-SMBBandwidthLimitコマンドレットを使用して制限され、残りの帯域幅の 29 パーセントが割り当てられます。ライブ マイグレーションで使用可能な帯域幅が 5 Gbps 以上で、ネットワーク アダプターが対応している場合は、RDMA を使用する。 これを行うには、次のコマンドレットを使用する。
Set-VMHost -VirtualMachineMigrationPerformanceOption SMBライブ マイグレーションで使用可能な帯域幅が 5 Gbps 未満の場合は、圧縮を使用してブラックアウト時間を短縮する。 これを行うには、次のコマンドレットを使用する。
Set-VMHost -VirtualMachineMigrationPerformanceOption Compression
ライブ マイグレーション トラフィックに RDMA を使用している場合は、SMB 帯域幅の制限を使用して、ライブ マイグレーション トラフィックが RDMA トラフィック クラスに割り当てられた帯域幅全体を消費できないようにします。 このコマンドレットは 1 秒あたりのバイト数 (Bps) で入力されますが、ネットワーク アダプターは 1 秒あたりのビット数 (bps) で表示されるため注意してください。 次のコマンドレットを使用して、たとえば帯域幅の制限を 6 Gbps に設定します。
Set-SMBBandwidthLimit -Category LiveMigration -BytesPerSecond 750MBNote
この例の 750 MBps は 6 Gbps に相当します。
以下に、帯域幅の割り当て表の例を示します。
| NIC 速度 | チーム化された帯域幅 | SMB 帯域幅予約** | SBL/CSV % | SBL/CSV 帯域幅 | ライブ マイグレーション % | 最大ライブ マイグレーション帯域幅 | ハートビート % | ハートビート帯域幅 |
|---|---|---|---|---|---|---|---|---|
| 10 Gbps | 20 Gbps | 10 Gbps | 70% | 7 Gbps | * | 200 Mbps | ||
| 25 Gbps | 50 Gbps | 25 Gbps | 70% | 17.5 Gbps | 29% | 7.25 Gbps | %1 | 250 Mbps |
| 40 Gbps | 80 Gbps | 40 Gbps | 70% | 28 Gbps | 29% | 11.6 Gbps | %1 | 400 Mbps |
| 50 Gbps | 100 Gbps | 50 Gbps | 70% | 35 Gbps | 29% | 14.5 Gbps | %1 | 500 Mbps |
| 100 Gbps | 200 Gbps | 100 Gbps | 70% | 70 Gbps | 29% | 29 Gbps | %1 | 1 Gbps |
| 200 Gbps | 400 Gbps | 200 Gbps | 70% | 140 Gbps | 29% | 58 Gbps | %1 | 2 Gbps |
* ライブ マイグレーション トラフィックに対する帯域幅の割り当てが 5 Gbps 未満のため、RDMA ではなく圧縮を使用します。
** 50 パーセントは帯域幅予約の一例です。
ストレッチ クラスター
ストレッチ クラスターを使用すると、複数のデータセンターにまたがるディザスター リカバリーを実現できます。 最も単純な形式では、Azure Local のストレッチ クラスターは次のようになります。
ストレッチ クラスターの要件
重要
ストレッチ クラスター機能は、Azure Local バージョン 22H2 でのみ使用できます。
ストレッチ クラスターには、次の要件と特性があります。
RDMA は単一サイトに限定されており、異なるサイトまたはサブネット間ではサポートされていません。
同じサイト内のマシンは、同じラックとレイヤー 2 の境界に存在する必要があります。
サイト間のホスト通信ではレイヤー 3 の境界を越える必要があります。ストレッチされたレイヤー 2 のトポロジはサポートされていません。
他のサイトでワークロードを実行するのに十分な帯域幅があること。 フェールオーバーが発生した場合は、代替サイトですべてのトラフィックを実行する必要があります。 使用可能なネットワーク容量の 50 パーセントでサイトをプロビジョニングすることをお勧めします。 ただし、フェールオーバー中のパフォーマンス低下を許容できる場合、これは要件ではありません。
サイト間の通信に使用されるアダプターについて
物理または仮想 (ホスト vNIC) にすることができます。 アダプターが仮想の場合は、物理 NIC ごとに、独自のサブネットと VLAN で 1 つの vNIC をプロビジョニングする必要があります。
サイト間でルーティングできる独自のサブネットと VLAN 上に配置する必要があります。
RDMA は、
Disable-NetAdapterRDMAコマンドレットを使用して無効にする必要があります。Set-SRNetworkConstraintコマンドレットを使用し、記憶域レプリカに特定のインターフェイスを使用するように明示的に要求することをお勧めします。記憶域レプリカの追加要件を満たしている必要があります。
次のステップ
- ネットワーク スイッチと物理ネットワークの要件について学習する。 「物理ネットワークの要件」を参照してください。
- Network ATC を使用してホスト ネットワークを単純化する方法について学習する。 「Network ATC を使用してホスト ネットワークを単純化する」を参照してください。
- フェールオーバー クラスタリング ネットワークの基礎を復習しましょう。
- Azure portal を使用した デプロイを参照してください。
- 「 Azure Resource Manager テンプレートを使用したデプロイを参照してください。