Udostępnij za pośrednictwem

Szybki start: tworzenie usługi HDInsight w puli klastrów usługi AKS przy użyciu interfejsu wiersza polecenia platformy Azure

  • Artykuł

Uwaga

Wycofamy usługę Azure HDInsight w usłudze AKS 31 stycznia 2025 r. Przed 31 stycznia 2025 r. należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure, aby uniknąć nagłego zakończenia obciążeń. Pozostałe klastry w ramach subskrypcji zostaną zatrzymane i usunięte z hosta.

Tylko podstawowa pomoc techniczna będzie dostępna do daty wycofania.

Ważne

Ta funkcja jest aktualnie dostępna jako funkcja podglądu. Dodatkowe warunki użytkowania dla wersji zapoznawczych platformy Microsoft Azure obejmują więcej warunków prawnych, które dotyczą funkcji platformy Azure, które znajdują się w wersji beta, w wersji zapoznawczej lub w inny sposób nie zostały jeszcze wydane w wersji ogólnodostępnej. Aby uzyskać informacje o tej konkretnej wersji zapoznawczej, zobacz Informacje o wersji zapoznawczej usługi Azure HDInsight w usłudze AKS. W przypadku pytań lub sugestii dotyczących funkcji prześlij żądanie w usłudze AskHDInsight , aby uzyskać szczegółowe informacje i postępuj zgodnie z nami, aby uzyskać więcej aktualizacji w społeczności usługi Azure HDInsight.

Usługa HDInsight w usłudze AKS wprowadza koncepcję pul klastrów i klastrów, które umożliwiają realizację pełnej wartości usługi Data Lakehouse.

  • Pule klastrów to logiczne grupowanie klastrów i obsługa zestawu klastrów w tej samej puli, co pomaga w tworzeniu niezawodnej współdziałania w wielu typach klastrów. Można ją utworzyć w istniejącej sieci wirtualnej lub poza siecią wirtualną.

    Pula klastrów w usłudze HDInsight w usłudze AKS odpowiada jednemu klastrowi w infrastrukturze usługi AKS.

  • Klastry to pojedyncze obciążenia obliczeniowe, takie jak Apache Spark, Apache Flink lub Trino, które można utworzyć w tej samej puli klastrów.

Dla każdego typu klastra musisz mieć pulę klastrów. Można go utworzyć niezależnie lub utworzyć nową pulę klastrów podczas tworzenia klastra. Z tego przewodnika Szybki start dowiesz się, jak utworzyć pulę klastrów przy użyciu interfejsu wiersza polecenia platformy Azure.

Wymagania wstępne

Przed utworzeniem puli klastrów upewnij się, że zostały spełnione wymagania wstępne subskrypcji.

Uruchamianie usługi Azure Cloud Shell

Usługa Azure Cloud Shell to interaktywna powłoka, której można użyć do wykonania kroków opisanych w tym artykule. Udostępnia ona wstępnie zainstalowane i najczęściej używane narzędzia platformy Azure, które są skonfigurowane do użycia na koncie.

Definiowanie zmiennych środowiskowych

Pierwszym krokiem jest zdefiniowanie zmiennych środowiskowych. Zmienne środowiskowe są często używane w systemie Linux, aby scentralizować dane konfiguracji w celu poprawy spójności i utrzymania systemu. Utwórz następujące zmienne środowiskowe, aby określić nazwy zasobów utworzonych w dalszej części tego samouczka:

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

Logowanie się do platformy Azure przy użyciu interfejsu wiersza polecenia

Aby uruchamiać polecenia na platformie Azure przy użyciu interfejsu wiersza polecenia, musisz najpierw się zalogować. Zaloguj się przy użyciu az login polecenia .

Tworzenie grupy zasobów

Grupa zasobów to kontener powiązanych zasobów. Wszystkie zasoby należy umieścić w grupie zasobów. Polecenie az group create tworzy grupę zasobów z wcześniej zdefiniowanymi $ResourceGroup parametrami i $Region .

az group create --name $ResourceGroup --location $Region

Wyjście:

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

Tworzenie usługi HDInsight w puli klastrów usługi AKS

Aby utworzyć usługę HDInsight w puli klastrów usługi AKS w tej grupie zasobów, użyj az hdinsight-on-aks clusterpool create polecenia :

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

Oto przykład:

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

Utworzenie usługi HDInsight w puli klastrów usługi AKS zajmuje kilka minut. Poniższe przykładowe dane wyjściowe pokazują, że utworzona operacja zakończyła się pomyślnie.

Wyjście:

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

Uwaga

Aby uzyskać więcej informacji na temat poleceń interfejsu wiersza polecenia puli klastrów, zobacz polecenia.

Czyszczenie zasobów

Gdy nie będą już potrzebne, wyczyść niepotrzebne zasoby, aby uniknąć naliczania opłat za platformę Azure. Za pomocą az group delete polecenia możesz usunąć grupę zasobów, pulę klastrów i wszystkie inne zasoby w grupie zasobów.

Uwaga

Aby usunąć pulę klastrów, upewnij się, że w puli klastrów nie ma aktywnych klastrów.