Freigeben über

Schnellstart: Erstellen eines HDInsight im AKS-Clusterpool mit Azure CLI

  • Artikel

Wichtig

Azure HDInsight auf AKS wurde am 31. Januar 2025 eingestellt. Erfahren Sie mehr mit dieser Ankündigung.

Sie müssen Ihre Workloads zu Microsoft Fabric oder ein gleichwertiges Azure-Produkt migrieren, um eine abrupte Beendigung Ihrer Workloads zu vermeiden.

Wichtig

Dieses Feature befindet sich derzeit in der Vorschau. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure Previews weitere rechtliche Bestimmungen enthalten, die für Azure-Features gelten, die in der Betaversion, in der Vorschau oder auf andere Weise noch nicht in die allgemeine Verfügbarkeit veröffentlicht werden. Informationen zu dieser spezifischen Vorschau finden Sie unter Azure HDInsight auf AKS Vorschauinformationen. Für Fragen oder Featurevorschläge senden Sie bitte eine Anfrage in AskHDInsight mit den Details und folgen Sie uns für aktuelle Updates zur Azure HDInsight Community.

HDInsight auf AKS führt das Konzept von Clusterpools und Clustern ein, mit denen Sie den vollständigen Wert des Data Lakehouse realisieren können.

  • Clusterpools eine logische Gruppierung von Clustern sind und einen Satz von Clustern im selben Pool verwalten, der bei der Erstellung einer stabilen Interoperabilität über mehrere Clustertypen hinweg hilft. Sie kann innerhalb eines vorhandenen virtuellen Netzwerks oder außerhalb eines virtuellen Netzwerks erstellt werden.

    Ein Clusterpool in HDInsight auf AKS entspricht einem Cluster in der AKS-Infrastruktur.

  • Cluster sind einzelne Computeworkloads wie Apache Spark, Apache Flink oder Trino, die im selben Clusterpool erstellt werden können.

Für jeden Clustertyp müssen Sie über einen Clusterpool verfügen. Sie kann unabhängig erstellt werden, oder Sie können während der Clustererstellung einen neuen Clusterpool erstellen. In dieser Schnellstartanleitung erfahren Sie, wie Sie einen Clusterpool mithilfe der Azure CLI erstellen.

Voraussetzungen

Stellen Sie sicher, dass Sie die Abonnementvoraussetzungen abgeschlossen haben, bevor Sie einen Clusterpool erstellen.

Starten von Azure Cloud Shell

Die Azure Cloud Shell ist eine interaktive Shell, mit der Sie die Schritte in diesem Artikel ausführen können. Es verfügt über gängige Azure-Tools, die vorinstalliert und für die Verwendung mit Ihrem Konto konfiguriert sind.

  • Dieser Artikel erfordert Azure CLI, Version 2.56.0 oder höher. Wenn Sie Azure Cloud Shell verwenden, ist die neueste Version bereits dort installiert.

  • Wenn Sie über mehrere Azure-Abonnements verfügen, wählen Sie die entsprechende Abonnement-ID aus, in der die Ressourcen mit dem az-Kontosatz Befehl in Rechnung gestellt werden sollen. Weitere Informationen finden Sie unter Verwalten von Azure-Abonnements – Azure CLI.

  • Sie können Cloud Shell auch in einem separaten Browsertab öffnen, indem Sie zu https://shell.azure.com/bashwechseln.

Definieren von Umgebungsvariablen

Der erste Schritt besteht darin, die Umgebungsvariablen zu definieren. Umgebungsvariablen werden in Linux häufig verwendet, um Konfigurationsdaten zu zentralisieren, um die Konsistenz und Wartung des Systems zu verbessern. Erstellen Sie die folgenden Umgebungsvariablen, um die Namen der Ressourcen anzugeben, die Sie später in diesem Lernprogramm erstellen:

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

Melden Sie sich mit der CLI bei Azure an

Um Befehle in Azure mithilfe der CLI auszuführen, müssen Sie sich zuerst anmelden. Melden Sie sich mit dem Befehl az login an.

Erstellen einer Ressourcengruppe

Eine Ressourcengruppe ist ein Container für verwandte Ressourcen. Alle Ressourcen müssen in einer Ressourcengruppe platziert werden. Der Befehl az group create erstellt eine Ressourcengruppe mit den zuvor definierten Parametern $ResourceGroup und $Region.

az group create --name $ResourceGroup --location $Region

Ausgabe:

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

Erstellen des HDInsight im AKS-Clusterpool

Verwenden Sie zum Erstellen eines HDInsight-Clusterpools auf AKS in dieser Ressourcengruppe den Befehl az hdinsight-on-aks clusterpool create:

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

Hier ist ein Beispiel:

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

Es dauert ein paar Minuten, um den HDInsight im AKS-Clusterpool zu erstellen. Die folgende Beispielausgabe zeigt, dass der erstellte Vorgang erfolgreich war.

Ausgabe:

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

Anmerkung

Weitere Informationen zu Befehlen der Clusterpool-CLI finden Sie unter Befehle.

Bereinigen von Ressourcen

Wenn sie nicht mehr benötigt werden, bereinigen Sie unnötige Ressourcen, um Azure-Gebühren zu vermeiden. Sie können die Ressourcengruppe, den Clusterpool und alle anderen Ressourcen in der Ressourcengruppe mithilfe des Befehls az group delete entfernen.

Anmerkung

Um einen Clusterpool zu löschen, stellen Sie sicher, dass im Clusterpool keine aktiven Cluster vorhanden sind.