Azure HDInsight 仮想ネットワーク アーキテクチャ
この記事では、HDInsight クラスターをカスタム Azure Virtual Network にデプロイするときに存在するリソースについて説明します。 この情報は、オンプレミスのリソースを Azure の HDInsight クラスターに接続するのに役立ちます。 Azure Virtual Network の詳細については、「Azure Virtual Network とは」をご覧ください。
Azure HDInsight クラスターでのリソースの種類
Azure HDInsight クラスターには、さまざまな種類の仮想マシン、つまりノードがあります。 それぞれのノードの種類が、システムの運用において役割を果たしています。 次の表は、これらのノードの種類とクラスターでのそれぞれの役割をまとめたものです。
| Type | 説明 |
|---|---|
| ZooKeeper ノード | Zookeeper は、データ処理を実行しているノード間でタスクを調整します。 また、ヘッド ノードのリーダー選定を行って、どのノードが特定のマスター サービスを実行しているかを追跡します。 ZooKeeper ノードの数は、3 台に固定されています。 |
| ワーカー ノード | データ処理機能をサポートするノードを表します。 ワーカー ノードをクラスターに追加したりクラスターから削除したりすることで、コンピューティング機能をスケーリングしてコストを管理することができます。 |
| リージョン ノード | HBase のクラスターの種類では、リージョン ノード (データ ノードとも呼ばれる) はリージョン サーバーを実行します。 リージョン サーバーは、HBase によって管理されるデータの一部を提供および管理します。 リージョン ノードをクラスターに追加したりクラスターから削除したりすることで、コンピューティング機能をスケーリングしてコストを管理できます。 |
リソースの名前付け規則
クラスター内のノードをアドレスを指定するときは、完全修飾ドメイン名 (FQDN) を使用します。 Ambari API を使用すると、クラスター内のさまざまなノードの種類の FQDN を取得できます。
これらの FQDN の形式は <node-type-prefix><instance-number>-<abbreviated-clustername>.<unique-identifier>.cx.internal.cloudapp.net です。
<node-type-prefix> は、ヘッドノードの場合は hn、ワーカー ノードの場合は wn、ZooKeeper ノードの場合は zn になります。
ホスト名のみが必要な場合は、FQDN の最初の部分 (<node-type-prefix><instance-number>-<abbreviated-clustername>) のみを使用します。
基本的な仮想ネットワーク リソース
次の図は、Azure での HDInsight ノードとネットワーク リソースの配置を示しています。
Azure Virtual Network の既定のリソースには、前の表で説明したクラスター ノードの種類が含まれています。 また、仮想ネットワークと外部のネットワークの間の通信をサポートするネットワーク デバイスが含まれます。
次の表は、HDInsight をカスタムの Azure Virtual Network にデプロイするときに作成される 9 台のクラスター ノードをまとめたものです。
| リソースの種類 | 存在する数 | 詳細 |
|---|---|---|
| ヘッド ノード | two | |
| Zookeeper ノード | three | |
| ワーカー ノード | two | この数は、クラスターの構成とスケーリングによって異なる場合があります。 Apache Kafka には、最小で 3 台のワーカー ノードが必要です。 |
| ゲートウェイ ノード | two | ゲートウェイ ノードは、Azure に作成される Azure Virtual Machine ですが、サブスクリプションには表示されません。 これらのノードを再起動する必要がある場合は、サポートにお問い合わせください。 |
次に提示するネットワーク リソースは、HDInsight で使用される仮想ネットワーク内に自動的に作成されます。
| ネットワーク リソース | 存在する数 | 詳細 |
|---|---|---|
| Load Balancer | 2 つ | ロード バランサーは、ノードの受信ネットワーク アクセスを提供します。 2 つのロード バランサーは、2 つのヘッド ノードと 2 つのゲートウェイ ノードに対応します。 ロード バランサーは Standard SKU です。 |
| ネットワーク インターフェイス | 9 | この値は、各ノードが独自のネットワーク インターフェイスを持つ、通常のクラスターに基づきます。 この 9 個のインターフェイスは、2 台のヘッド ノード、3 台の Zookeeper ノード、2 台のワーカー ノード、および前の表で述べられた 2 台のゲートウェイ ノード用です。 |
| パブリック IP アドレス | two | 2 つのパブリック IP アドレスがロード バランサーに結合されます。 |
アウトバウンド接続には、「アウトバウンド接続の送信元ネットワーク アドレス変換 (SNAT) - Azure Load Balancer」で説明されている、カスタム仮想ネットワークで使用できる方法がいくつかあります。
Note
最も推奨される方法は、サブネットを NAT ゲートウェイに関連付ける方法です。 これには、HDInsight クラスターを作成する前に、NAT ゲートウェイと、サブネット内に作成されたネットワーク セキュリティ グループが必要です。 パブリック IP またはパブリック IP プレフィックスを NAT ゲートウェイに結合できます。 作成する NSG 規則については、「Azure HDInsight でのネットワーク トラフィックの制御」を参照してください
HDInsight に接続するためのエンドポイント
HDInsight クラスターには次の 3 つの方法でアクセスできます。
- 仮想ネットワークの外の HTTP エンドポイント
CLUSTERNAME.azurehdinsight.net。 - ヘッド ノードに直接接続するための SSH エンドポイント
CLUSTERNAME-ssh.azurehdinsight.net。 - 仮想ネットワーク内の HTTP エンドポイント
CLUSTERNAME-int.azurehdinsight.net。 この URL に含まれている "-int" に注目してください。 このエンドポイントは、その仮想ネットワーク内のプライベート IP に解決され、パブリック インターネットからはアクセスできません。
これら 3 つのエンドポイントにはそれぞれロード バランサーが割り当てられています。
仮想ネットワーク外部からの接続を許可する 2 つのエンドポイントにはパブリック IP アドレスも提供されています。
- 1 つのパブリック IP は、インターネットからクラスターに接続するときに使用する完全修飾ドメイン名 (FQDN) のために、ロード バランサーに割り当てられています
CLUSTERNAME.azurehdinsight.net。 - 2 つ目のパブリック IP アドレスは、SSH 専用のドメイン名に使用されます
CLUSTERNAME-ssh.azurehdinsight.net。
次のステップ
- Secure incoming traffic to HDInsight clusters in a virtual network with private endpoint (プライベート エンドポイントを使用した、仮想ネットワーク内の HDInsight クラスターへのセキュリティで保護された着信トラフィック)