HPC 向けランディング ゾーン
Azure 用クラウド導入フレームワークの準備方法では、クラウド導入に向けた、運用環境の準備について説明しています。 最終準備フェーズでは、Azure ランディング ゾーンを使用できます。 ランディング ゾーンは、クラウド導入環境に共通の基本的な構成要素を提供する技術アクセラレータです。 ランディング ゾーンでは、クラウド導入フレームワークのベスト プラクティス ガイダンスに沿って、Azure 環境の構成を自動化できます。 ハイパフォーマンス コンピューティング (HPC) の準備中に、業界固有のユース ケースや要件に応じた環境構成に遭遇することがあります。
Azure ランディング ゾーンの概念アーキテクチャ
継続的なクラウド導入に向けた環境を準備する際には、ターゲットの最終状態を示す Azure ランディング ゾーンの概念アーキテクチャを使用できます。 HPC には、クラウド導入フレームワークが現在対応している 3 つの業界に基づいた、次のような複数の概念アーキテクチャ リファレンスがあります。
ランディング ゾーンの長期的なビジョンを策定する際は、これらのアーキテクチャ リファレンスを考慮してください。 これらのリファレンスは、出発点を与えてくれます。 組織のビジネス要件とエンド ユーザーのニーズによっては、その内容に変更が必要な場合もあるでしょう。
HPC の評価
戦略的影響評価と技術計画中に行う決定は、Azure での HPC のデプロイのために選択したランディング ゾーンの構成に影響します。 次の問いについて考えてみましょう。
- Azure 上の環境の成熟度はどれぐらいですか? 概念実証の段階ですか? それとも、既にユーザーにサービスを提供する成熟したアプリケーションですか? その段階に応じて、ガバナンス、セキュリティ、またはリソース組織を含めたり省略したりすることができます。
- Azure 上で構築しているアプリケーションは、一時的なものですか、それとも長期にわたるプロジェクトですか? この質問に対する答えは、コンピューティングとストレージのオプションを選択する場合の判断材料になります。
- お客様の組織において、Azure リソースへのユーザー アクセスに対する多様なレベル設定が必要ですか?
これらの質問からわかるように、デプロイ モデルは、ビジネス、業界、アプリケーションの使用状況によってそれぞれ異なります。
HPC 向け Azure ランディング ゾーンの迅速な実装
Azure Batch と Azure CycleCloud は両方とも Azure が提供するファースト パーティ サービスですが、Azure HPC OnDemand Platform(AzHOP)は Azure Cycle Cloud の上に構築された自動化機能であり、Azure の完全な HPC クラスター ソリューションにエンドツーエンドの展開メカニズムを提供します。
Azure Batch
- Batch は、大規模な並列および HPC バッチ ジョブを Azure で効率的に実行するように設計されています。
- Batch は、コンピューティング ノードまたは仮想マシン (VM) のプールを作成および管理します。 Batch を使用して、実行するアプリケーションをインストールしたり、ノードで実行するジョブをスケジュールしたりすることもできます。
- インストール、管理、またはスケーリングするクラスターまたはジョブ スケジューラ ソフトウェアはありません。
- Batch は、本質的に並列ワークロードの実行に適しています。 これらのワークロードでは、アプリケーションを独立して実行することができ、各インスタンスが作業の一部を完了します。
- また、Batch を使用して、密結合ワークロードを実行することもできます。この場合、アプリケーションは独立して実行されるのではなく、実行時に互いに通信する必要があります。
- Batch タスクは、Batch プール内の VM またはノードで直接実行できます。 ただし、ノード上の Docker 互換コンテナーでタスクを実行するように Batch プールを設定することもできます。
Azure CycleCloud
- SLURM、OpenPBS、PBSPro、LSF、グリッド エンジン、HTCondor12 など、さまざまな HPC スケジューラをサポートします。
- これにより、仮想マシン、スケール セット、ネットワーク インターフェイス、ディスクなどの HPC システムのインフラストラクチャをプロビジョニングできます。
- ジョブの負荷、可用性、時間の要件に基づいて任意の規模でジョブを効率的に実行するため、インフラストラクチャを自動的にスケーリングします。
- Azure で完全な HPC 環境を構築するため、豊富な宣言型のテンプレート形式を提供します。
- これは、Azure Monitor や Microsoft Cost Management ツールなどの Azure サービスと統合されます。
AzHop
- AzHop は、CycleCloud を活用してジョブを調整するため、Azure 上のベース HPC インフラストラクチャ用のエンドツーエンドの展開メカニズムを提供します。
- ユーザーがアプリケーションを実行できるように準備された完全な HPC クラスター ソリューションが提供され、HPC 管理者は簡単にデプロイおよび管理することができます。
- AzHop は "現状" で使用できるさまざまなビルトイン アプリケーションを提供するか、満たされていない要件を満たすために簡単にカスタマイズして拡張することもできます。
- 統合ユーザー アクセス、リモート シェル アクセス、リモート可視化アクセス、ジョブ送信、ファイル アクセスなどに対応する Open OnDemand ポータルが含まれています。
- ユーザー認証とドメイン制御に Active Directory が使用されます。
- ジョブ スケジューラとして OpenPBS または Simple Linux Utility for Resource Management (SLURM) が使用されます。
- 動的リソース プロビジョニングとオートスケーリングは、CycleCloud の事前構成済みジョブ キューと統合された正常性チェックによって実行され、最適ではないノードをすばやく回避します。
- Azure NetApp Files は、ホーム ディレクトリとアプリケーション用に共有ファイル システムを提供します。
比較チャート
| 機能 | Azure Batch | Azure CycleCloud |
|---|---|---|
| フィールド サービス担当者 | Batch API とツールを使用できます。 Azure portal でクラウドネイティブのコマンドライン スクリプトを使用することもできます。 | SLURM、OpenPBS、PBSPro、LSF、Grid Engine、HTCondorなどの標準的な HPC スケジューラを使用できます。 または、独自のスケジューラと連動するように Azure CycleCloud 自動スケール プラグインを拡張することもできます。 |
| コンピューティング リソース | サービスとしてのソフトウェア (SaaS) ノード – サービスとしてのプラットフォーム (PaaS)。 | PaaS ソフトウェア – PaaS。 |
| 監視ツール | Azure Monitor。 | Azure Monitor と Grafana。 |
| カスタマイズ | カスタム イメージ プール、サード パーティ イメージ、Batch API アクセスを使用できます。 | 包括的な RESTful API を使用して、機能のカスタマイズと拡張、独自のスケジューラのデプロイ、既存のワークロード マネージャーのサポートを行うことができます。 |
| 統合 | Azure Synapse Analytics パイプライン、Azure Data Factory、Azure CLI。 | Windows および Linux 用の組み込み CLI。 |
| ユーザーの種類 | 開発者。 | 従来の HPC 管理者とユーザー。 |
| 作業タイプ | バッチとワークフロー。 | メッセージ パッシング インターフェイス (MPI) を使用する密結合ワークフロー。 |
| Windows のサポート | 指定済み。 | スケジューラの選択によって異なります。 |
Azure CycleCloud と Azure Batch は、Azure の HPC タスク用の強力なツールですが、さまざまなユース ケースのために設計されています。
Azure CycleCloud は、Azure 上の HPC 環境を調整および管理するためのエンタープライズ向けツールです。 特定のスケジューラを念頭に置いて HPC 環境をデプロイする HPC 管理者とユーザーを対象としています。 Azure CycleCloud には、ネットワーク ファイル共有 (NFS) サーバー、並列ファイル システム、サインイン ホスト、ライセンス サーバー、ディレクトリ サービスなど、Azure 上に完全な HPC 環境を構築するための強力なツールが搭載されています。 これは、しばらくの期間 HPC 環境を運用し、特定のスケジューラに関する長年の専門知識と社内ツールを蓄積してきた組織に役立ちます。
一方、Batch は主に、独自の製品やサービスに機能を組み込む開発者とチームを対象としています。 Batch には独自のスケジューラが含まれており、クラスターまたはジョブ スケジューラ ソフトウェアなしで大規模な並列ジョブを効率的に実行するように設計されています。 Batch は、ワークロード スケジューラを管理する必要がない場合に便利です。
まとめると、特定のスケジューラを念頭に置いて HPC 環境をデプロイし、完全な HPC 環境が必要な場合は、Azure CycleCloud をお使いください。 大規模な並列処理を必要とする製品またはサービスを開発し、ワークロード スケジューラを管理したくない場合は、Batch をお使いください。
次のステップ
- 利用可能なハイ パフォーマンス コンピューティング VM のサイズのレビュー
- HPC のランディング ゾーンを準備したら、移行について検討を始めます。
- HPC ランディング ゾーン アクセラレータ全体を参照してください。