次の方法で共有

クイック スタート: Azure CLI を使用して AKS クラスター プールに HDInsight を作成する

  • [アーティクル]

大事な

AKS 上の Azure HDInsight は、2025 年 1 月 31 日に廃止されました。 について詳しく知るには、このお知らせをご覧ください。

ワークロードの突然の終了を回避するには、ワークロードを Microsoft Fabric または同等の Azure 製品 に移行する必要があります。

大事な

この機能は現在プレビュー段階です。 Microsoft Azure プレビューの 追加使用条件 には、ベータ版、プレビュー版、または一般公開されていない Azure 機能に適用される、より多くの法的条件が含まれています。 この特定のプレビューの詳細については、AKS プレビュー情報 Azure HDInsightを参照してください。 ご質問や機能の提案がある場合は、詳細を記載して AskHDInsight にリクエストを送信してください。また、さらなる更新情報については Azure HDInsight Communityをフォローしてください。

AKS 上の HDInsight では、クラスター プールとクラスターの概念が導入されています。これにより、Data Lakehouse の完全な価値を実現できます。

  • クラスター プール は、クラスターの論理的なグループであり、クラスターのセットを同じプールに保持します。これにより、複数のクラスターの種類間で堅牢な相互運用性を構築するのに役立ちます。 既存の仮想ネットワーク内または仮想ネットワークの外部に作成できます。

    AKS 上の HDInsight のクラスター プールは、AKS インフラストラクチャ内の 1 つのクラスターに対応します。

  • クラスター は、Apache Spark、Apache Flink、Trino などの個々のコンピューティング ワークロードであり、同じクラスター プールに作成できます。

クラスターの種類ごとに、クラスター プールが必要です。 個別に作成することも、クラスターの作成時に新しいクラスター プールを作成することもできます。 このクイック スタートでは、Azure CLI を使用してクラスター プールを作成する方法について説明します。

前提 条件

クラスター プールを作成する前に、サブスクリプションの前提条件 完了していることを確認します。

Azure Cloud Shell を起動する

Azure Cloud Shell は、この記事の手順を実行するために使用できる対話型シェルです。 一般的な Azure ツールがプレインストールされ、アカウントで使用するように構成されています。

    • Azure Cloud Shellで Bash 環境を使用します。 詳細については、「Azure Cloud Shellでの Bash のクイック スタート」を参照してください。

    • CLI 参照コマンドをローカルで実行したい場合は、Azure CLI を インストールしてください。 Windows または macOS で実行している場合は、Docker コンテナーで Azure CLI を実行することを検討してください。 詳細については、「Docker コンテナーで Azure CLI を実行する方法」を参照してください。

      • ローカル インストールを使用している場合は、az login コマンドを使用して Azure CLI にサインインします。 認証プロセスを完了するには、ターミナルに表示される手順に従います。 その他のサインイン オプションについては、「Azure CLIを使用したサインイン」を参照してください。

      • メッセージが表示されたら、最初に使用するときに Azure CLI 拡張機能をインストールします。 拡張機能の詳細については、「Azure CLIで拡張機能を使用する」を参照してください。

      • az version 実行して、インストールされているバージョンと依存ライブラリを見つけます。 最新バージョンにアップグレードするには、az upgrade 実行します。

  • この記事では、Azure CLI バージョン 2.56.0 以降が必要です。 Azure Cloud Shell を使用している場合は、最新バージョンが既にインストールされています。

  • 複数の Azure サブスクリプションがある場合は、az account set コマンドを使用して、リソースの課金対象となる適切なサブスクリプション ID 選択します。 詳細については、「Azure サブスクリプションを管理する方法 - Azure CLI」を参照してください。

  • https://shell.azure.com/bashに移動して、別のブラウザー タブで Cloud Shell を開くこともできます。

環境変数を定義する

最初の手順では、環境変数を定義します。 環境変数は、システムの一貫性と保守性を向上させるために構成データを一元化するために Linux で一般的に使用されます。 このチュートリアルの後半で作成するリソースの名前を指定するには、次の環境変数を作成します。

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

CLI を使用して Azure にログインする

CLI を使用して Azure でコマンドを実行するには、まずログインする必要があります。 az login コマンドを使用してログインします。

リソース グループを作成する

リソース グループは、関連リソースのコンテナーです。 すべてのリソースは、リソース グループに配置する必要があります。 az group create コマンドは、前に定義した $ResourceGroup と $Region パラメーターを持つリソース グループを作成します。

az group create --name $ResourceGroup --location $Region

アウトプット：

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

AKS クラスター プールに HDInsight を作成する

このリソース グループ内の AKS クラスター プールに HDInsight を作成するには、az hdinsight-on-aks clusterpool create コマンドを使用します。

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

次に例を示します。

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

AKS クラスター プールに HDInsight を作成するには数分かかります。 次の出力例は、作成された操作が成功したことを示しています。

アウトプット：

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

手記

クラスター・プール CLI コマンドの詳細については、コマンドを参照してください。

リソースのクリーンアップ

不要になったら、不要なリソースをクリーンアップして Azure の料金を回避します。 az group delete コマンドを使用して、リソース グループ、クラスター プール、およびリソース グループ内の他のすべてのリソースを削除できます。

手記

クラスター プールを削除するには、クラスター プールにアクティブなクラスターがないことを確認します。