다음을 통해 공유

빠른 시작: Azure CLI를 사용하여 HDInsight on AKS 클러스터 풀 만들기

  • 아티클

참고 항목

2025년 1월 31일에 Azure HDInsight on AKS가 사용 중지됩니다. 2025년 1월 31일 이전에 워크로드가 갑자기 종료되지 않도록 워크로드를 Microsoft Fabric 또는 동등한 Azure 제품으로 마이그레이션해야 합니다. 구독의 나머지 클러스터는 호스트에서 중지되고 제거됩니다.

사용 중지 날짜까지 기본 지원만 사용할 수 있습니다.

Important

이 기능은 현지 미리 보기로 제공됩니다. Microsoft Azure 미리 보기에 대한 보충 사용 약관에는 베타 또는 미리 보기로 제공되거나 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 더 많은 약관이 포함되어 있습니다. 이 특정 미리 보기에 대한 자세한 내용은 Azure HDInsight on AKS 미리 보기 정보를 참조하세요. 질문이나 기능 제안이 있는 경우 AskHDInsight에서 세부 정보와 함께 요청을 제출하고 Azure HDInsight 커뮤니티에서 더 많은 업데이트를 확인하세요.

HDInsight on AKS는 데이터 레이크하우스의 전체 가치를 실현할 수 있는 클러스터 풀 및 클러스터의 개념을 소개합니다.

  • 클러스터 풀은 클러스터의 논리적 그룹으로, 클러스터 집합을 동일한 풀에서 유지해 여러 클러스터 유형 간에 강력한 상호 운용성을 구축하도록 지원합니다. 클러스터 풀은 기존 가상 네트워크 내에서 또는 가상 네트워크 외부에서 만들 수 있습니다.

    HDInsight on AKS의 클러스터 풀은 AKS 인프라에서는 클러스터 하나에 해당합니다.

  • 클러스터는 동일한 클러스터 풀에서 만들 수 있는 Apache Spark, Apache Flink 또는 Trino와 같은 개별 컴퓨팅 워크로드입니다.

모든 클러스터 유형에 대해 클러스터 풀이 있어야 합니다. 독립적으로 만들거나 클러스터 만드는 동안 새 클러스터 풀을 만들 수 있습니다. 이 빠른 시작에서는 Azure CLI를 사용하여 클러스터 풀을 만드는 방법을 알아봅니다.

필수 조건

클러스터 풀을 만들기 전에 구독 필수 조건을 완료했는지 확인합니다.

Azure Cloud Shell 시작

Azure Cloud Shell은 이 문서의 단계를 실행하는 데 사용할 수 있는 대화형 셸입니다. 공용 Azure 도구가 사전 설치되어 계정에서 사용하도록 구성되어 있습니다.

  • 이 문서에는 Azure CLI 버전 2.56.0 이상이 필요합니다. Azure Cloud Shell을 사용하는 경우 최신 버전이 이미 설치되어 있습니다.

  • Azure 구독이 여러 개인 경우 az account set 명령을 사용하여 리소스가 청구되어야 하는 적절한 구독 ID를 선택합니다. 자세한 내용은 Azure 구독 관리 방법 - Azure CLI를 참조하세요.

  • 또한 https://shell.azure.com/bash로 이동하여 별도의 브라우저 탭에서 Cloud Shell을 열 수도 있습니다.

환경 변수 정의

첫 번째 단계는 환경 변수를 정의하는 것입니다. 환경 변수는 일반적으로 Linux에서 구성 데이터를 중앙 집중화하여 시스템의 일관성과 유지 관리를 개선하는 데 사용됩니다. 이 자습서의 뒷부분에서 만드는 리소스의 이름을 지정하려면 다음 환경 변수를 만듭니다.

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

CLI를 사용하여 Azure에 로그인

CLI를 사용하여 Azure에서 명령을 실행하려면 먼저 로그인해야 합니다. az login 명령을 사용하여 로그인합니다.

리소스 그룹 만들기

리소스 그룹은 관련 리소스에 대한 컨테이너입니다. 모든 리소스는 리소스 그룹에 배치되어야 합니다. az group create 명령은 이전에 정의된 $ResourceGroup 및 $Region 매개 변수를 사용하여 리소스 그룹을 만듭니다.

az group create --name $ResourceGroup --location $Region

출력

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

HDInsight on AKS 클러스터 풀 만들기

이 리소스 그룹의 HDInsight on AKS 클러스터 풀을 만들려면 az hdinsight-on-aks clusterpool create 명령을 사용합니다.

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

예를 들면 다음과 같습니다.

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

HDInsight on AKS 클러스터 풀을 만드는 데 몇 분 정도 걸립니다. 다음 출력 예는 만들어진 작업이 성공했음을 보여 줍니다.

출력

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

참고 항목

클러스터 풀 CLI 명령에 대한 자세한 내용은 명령을 참조하세요.

리소스 정리

더 이상 필요하지 않은 경우 불필요한 리소스를 정리하여 Azure 요금이 부과되지 않도록 합니다. az group delete 명령을 사용하여 리소스 그룹, 클러스터 풀 및 리소스 그룹의 기타 모든 리소스를 제거할 수 있습니다.

참고 항목

클러스터 풀을 삭제하려면 클러스터 풀에 활성 클러스터가 없는지 확인합니다.