Freigeben über

Schnellstart: Erstellen eines HDInsight on AKS-Clusterpools mithilfe der Azure CLI

  • Artikel

Hinweis

Azure HDInsight on AKS wird am 31. Januar 2025 eingestellt. Vor dem 31. Januar 2025 müssen Sie Ihre Workloads zu Microsoft Fabric oder einem gleichwertigen Azure-Produkt migrieren, um eine abruptes Beendigung Ihrer Workloads zu vermeiden. Die verbleibenden Cluster in Ihrem Abonnement werden beendet und vom Host entfernt.

Bis zum Einstellungsdatum ist nur grundlegende Unterstützung verfügbar.

Wichtig

Diese Funktion steht derzeit als Vorschau zur Verfügung. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure-Vorschauen enthalten weitere rechtliche Bestimmungen, die für Azure-Features in Betaversionen, in Vorschauversionen oder anderen Versionen gelten, die noch nicht allgemein verfügbar gemacht wurden. Informationen zu dieser spezifischen Vorschau finden Sie unter Informationen zur Vorschau von Azure HDInsight on AKS. Bei Fragen oder Funktionsvorschlägen senden Sie eine Anfrage an AskHDInsight mit den entsprechenden Details, und folgen Sie uns für weitere Updates in der Azure HDInsight-Community.

HDInsight on AKS führt das Konzept von Clusterpools und Clustern ein, mit denen Sie den vollständigen Wert vom Data Lakehouse realisieren können.

  • Clusterpools sind eine logische Gruppierung von Clustern und verwalten einen Satz von Clustern im selben Pool. Dies hilft bei der Implementierung einer stabilen Interoperabilität über mehrere Clustertypen hinweg. Sie können innerhalb eines vorhandenen virtuellen Netzwerks oder außerhalb eines virtuellen Netzwerks erstellt werden.

    Ein Clusterpool in HDInsight on AKS entspricht einem Cluster in der AKS-Infrastruktur.

  • Cluster sind einzelne Computeworkloads wie Apache Spark, Apache Flink oder Trino, die im selben Clusterpool erstellt werden können.

Sie müssen über einen Clusterpool für jeden Clustertyp verfügen. Dieser kann unabhängig erstellt werden. Alternativ können Sie während der Clustererstellung einen neuen Clusterpool erstellen. In diesem Schnellstart erfahren Sie, wie Sie mithilfe der Azure CLI einen Clusterpool erstellen.

Voraussetzungen

Stellen Sie sicher, dass Sie die Voraussetzungen für das Abonnement erfüllen, bevor Sie einen Clusterpool erstellen.

Starten von Azure Cloud Shell

Azure Cloud Shell ist eine interaktive Shell, mit der Sie die Schritte in diesem Artikel ausführen können. Sie verfügt über allgemeine vorinstallierte Tools und ist für die Verwendung mit Ihrem Konto konfiguriert.

    • Verwenden Sie die Bash-Umgebung in Azure Cloud Shell. Weitere Informationen finden Sie unter Schnellstart für Bash in Azure Cloud Shell.

    • Wenn Sie CLI-Referenzbefehle lieber lokal ausführen, installieren Sie die Azure CLI. Wenn Sie Windows oder macOS ausführen, sollten Sie die Azure CLI in einem Docker-Container ausführen. Weitere Informationen finden Sie unter Ausführen der Azure CLI in einem Docker-Container.

      • Wenn Sie eine lokale Installation verwenden, melden Sie sich mithilfe des Befehls az login bei der Azure CLI an. Führen Sie die in Ihrem Terminal angezeigten Schritte aus, um den Authentifizierungsprozess abzuschließen. Informationen zu anderen Anmeldeoptionen finden Sie unter Anmelden mit der Azure CLI.

      • Installieren Sie die Azure CLI-Erweiterung beim ersten Einsatz, wenn Sie dazu aufgefordert werden. Weitere Informationen zu Erweiterungen finden Sie unter Verwenden von Erweiterungen mit der Azure CLI.

      • Führen Sie az version aus, um die installierte Version und die abhängigen Bibliotheken zu ermitteln. Führen Sie az upgrade aus, um das Upgrade auf die aktuelle Version durchzuführen.

  • Für diesen Artikel ist mindestens die Azure CLI-Version 2.56.0 erforderlich. Bei Verwendung von Azure Cloud Shell ist die aktuelle Version bereits installiert.

  • Wenn Sie über mehrere Azure-Abonnements verfügen, wählen Sie mithilfe des Befehls az account set die ID des Abonnements aus, in dem die Ressourcen fakturiert werden sollen. Weitere Informationen finden Sie unter Verwalten von Azure-Abonnementen – Azure CLI.

  • Sie können Cloud Shell auch auf einer separaten Browserregisterkarte öffnen, indem Sie zu https://shell.azure.com/bash navigieren.

Definieren von Umgebungsvariablen

Der erste Schritt besteht darin, die Umgebungsvariablen zu definieren. Umgebungsvariablen werden in Linux häufig verwendet, um Konfigurationsdaten zu zentralisieren und so die Konsistenz und Wartbarkeit des Systems zu verbessern. Erstellen Sie die folgenden Umgebungsvariablen, um die Namen der Ressourcen anzugeben, die Sie später in diesem Tutorial erstellen:

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

Melden Sie sich mit der CLI bei Azure an

Um Befehle in Azure mithilfe der CLI auszuführen, müssen Sie sich zuerst anmelden. Melden Sie sich mit dem Befehl az login an.

Erstellen einer Ressourcengruppe

Eine Ressourcengruppe ist ein Container für zugehörige Ressourcen. Alle Ressourcen müssen in einer Ressourcengruppe platziert werden. Mit dem Befehl az group create wird eine Ressourcengruppe mit den zuvor definierten Parametern $ResourceGroup und $Region erstellt.

az group create --name $ResourceGroup --location $Region

Ausgabe:

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

Erstellen des HDInsight on AKS-Clusterpools

Verwenden Sie den Befehl az hdinsight-on-aks clusterpool create, um einen HDInsight on AKS-Clusterpool in dieser Ressourcengruppe zu erstellen:

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

Ein Beispiel:

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

Die Erstellung des HDInsight on AKS-Clusterpools dauert einige Minuten. Die folgende Beispielausgabe zeigt, dass der erstellte Vorgang erfolgreich war.

Ausgabe:

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

Hinweis

Weitere Informationen zu CLI-Befehlen für Clusterpools finden Sie unter Befehle.

Bereinigen von Ressourcen

Bereinigen Sie unnötige Ressourcen, wenn diese nicht mehr benötigt werden, um Azure-Gebühren zu vermeiden. Sie können die Ressourcengruppe, den Clusterpool und alle weiteren Ressourcen in der Ressourcengruppe mithilfe des Befehls az group delete entfernen.

Hinweis

Stellen Sie beim Löschen eines Clusterpools sicher, dass darin keine aktiven Cluster vorhanden sind.