クイック スタート: Azure CLI を使用して AKS クラスター プールに HDInsight を作成する
Note
Azure HDInsight on AKS は 2025 年 1 月 31 日に廃止されます。 2025 年 1 月 31 日より前に、ワークロードを Microsoft Fabric または同等の Azure 製品に移行することで、ワークロードの突然の終了を回避する必要があります。 サブスクリプション上に残っているクラスターは停止され、ホストから削除されることになります。
提供終了日までは基本サポートのみが利用できます。
重要
現在、この機能はプレビュー段階にあります。 ベータ版、プレビュー版、または一般提供としてまだリリースされていない Azure の機能に適用されるその他の法律条項については、「Microsoft Azure プレビューの追加の使用条件」に記載されています。 この特定のプレビューについては、「Microsoft HDInsight on AKS のプレビュー情報」を参照してください。 質問や機能の提案については、詳細を記載した要求を AskHDInsight で送信してください。また、その他の更新情報については、Azure HDInsight コミュニティのフォローをお願いいたします。
HDInsight on AKS には、クラスター プールとクラスターの概念が導入されています。これにより、データ レイクハウスの完全な価値を実現できます。
クラスター プールは、クラスターの論理的なグループであり、クラスターのセットを同じプールに保持します。これは複数の種類のクラスター間で堅牢な相互運用性を構築するのに役立ちます。 これは既存の仮想ネットワーク内または仮想ネットワークの外部に作成できます。
HDInsight on AKS のクラスター プールは、AKS インフラストラクチャ内の 1 つのクラスターに対応します。
クラスターは、Apache Spark、Apache Flink、Trino などの個々のコンピューティング ワークロードであり、同じクラスター プールに作成できます。
クラスターの種類ごとに、クラスター プールが必要です。 個別に作成することも、クラスターの作成時に新しいクラスター プールを作成することもできます。 このクイックスタートでは、Azure CLI を使用してクラスター プールを作成する方法について説明します。
前提条件
クラスター プールを作成する前に、サブスクリプションの前提条件を満たしていることを確認します。
Azure Cloud Shell を起動する
Azure Cloud Shell は対話型シェルで、これを使用してこの記事の手順を行うことができます。 一般的な Azure ツールが事前にインストールされており、アカウントで使用できるように構成されています。
-
Azure Cloud Shell で Bash 環境を使用します。 詳細については、「Azure Cloud Shell の Bash のクイックスタート」を参照してください。
CLI リファレンス コマンドをローカルで実行する場合、Azure CLI をインストールします。 Windows または macOS で実行している場合は、Docker コンテナーで Azure CLI を実行することを検討してください。 詳細については、「Docker コンテナーで Azure CLI を実行する方法」を参照してください。
ローカル インストールを使用する場合は、az login コマンドを使用して Azure CLI にサインインします。 認証プロセスを完了するには、ターミナルに表示される手順に従います。 その他のサインイン オプションについては、Azure CLI でのサインインに関するページを参照してください。
初回使用時にインストールを求められたら、Azure CLI 拡張機能をインストールします。 拡張機能の詳細については、Azure CLI で拡張機能を使用する方法に関するページを参照してください。
az version を実行し、インストールされているバージョンおよび依存ライブラリを検索します。 最新バージョンにアップグレードするには、az upgrade を実行します。
この記事では、Azure CLI バージョン 2.56.0 以降が必要です。 Azure Cloud Shell を使用している場合は、最新バージョンが既にインストールされています。
複数の Azure サブスクリプションをお持ちの場合は、az account set コマンドを使用して、リソースが課金の対象となる適切なサブスクリプション ID を選択してください。 詳細については、Azure CLI で Azure サブスクリプションを管理する方法に関するページを参照してください。
https://shell.azure.com/bash に移動して、別のブラウザー タブで Cloud Shell を開くこともできます。
環境変数を定義する
最初のステップは、環境変数を定義することです。 Linux で環境変数は通常、構成データを一元化してシステムの一貫性と保守容易性を向上させるために使用します。 このチュートリアルで後ほど作成するリソースの名前を指定するための、次の環境変数を作成します。
export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"
CLI を使用して Azure にログインする
CLI を使用して Azure でコマンドを実行するには、まず、ログインする必要があります。 az login コマンドを使ってログインします。
リソース グループを作成する
リソース グループとは、関連リソース用のコンテナーです。 すべてのリソースをリソース グループに配置する必要があります。 az group create のコマンドは、前に定義した $ResourceGroup と $Region のパラメータを使用してリソース グループを作成します。
az group create --name $ResourceGroup --location $Region
出力:
{
"id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
"location": "eastus",
"managedBy": null,
"name": "HDIonAKSCLI",
"properties": {
"provisioningState": "Succeeded"
},
"tags": null,
"type": "Microsoft.Resources/resourceGroups"
}
AKS クラスター プールに HDInsight を作成する
このリソース グループ内の AKS クラスター プールに HDInsight を作成するには、次のように az hdinsight-on-aks clusterpool create コマンドを使用します。
az hdinsight-on-aks clusterpool create --cluster-pool-name
--resource-group
[--api-server-authorized-ip-ranges]
[--cluster-pool-version]
[--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
[--la-workspace-id]
[--location]
[--managed-rg-name]
[--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
[--outbound-type {loadBalancer, userDefinedRouting}]
[--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
[--subnet-id]
[--tags]
[--workernode-size]
次に例を示します。
az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion
AKS クラスター プールに HDInsight を作成するには数分かかります。 次の出力例では、成功した作成操作を示します。
出力:
{
"aksClusterProfile": {
"aksClusterAgentPoolIdentityProfile": {
"msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
"msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
"msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
},
"aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
"aksVersion": "1.27.9"
},
"aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
"clusterPoolProfile": {
"clusterPoolVersion": "1.1"
},
"computeProfile": {
"count": 3,
"vmSize": "Standard_E4s_v3"
},
"deploymentId": "00000000000000000000XXXX",
"id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
"location": "EastUS",
"managedResourceGroupName": "hdi-00000000000000000000XXXX",
"name": "contosopool",
"provisioningState": "Succeeded",
"resourceGroup": "HDIonAKSCLI",
"status": "Running",
"systemData": {
"createdAt": "2024-05-31T15:02:42.2172295Z",
"createdBy": "john@contoso.com",
"createdByType": "User",
"lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
"lastModifiedBy": "john@contoso.com",
"lastModifiedByType": "User"
},
"type": "microsoft.hdinsight/clusterpools"
}
Note
クラスター プールの CLI コマンドの詳細については、「コマンド」を参照してください。
リソースをクリーンアップする
Azure の課金を回避するには、リソースが不要になったらクリーンアップしてください。 az group delete コマンドを使用して、リソース グループ、クラスター プール、およびリソース グループ内の他のすべてのリソースを削除できます。
Note
クラスター プールを削除するには、そのクラスター プール内にアクティブなクラスターがないことを確認します。