Quickstart: Een HDInsight maken in een AKS-clustergroep met behulp van Azure CLI

Artikel
09/20/2024

Belangrijk

Azure HDInsight op AKS is op 31 januari 2025 buiten gebruik gesteld. Meer informatie met deze aankondiging.

U moet uw workloads migreren naar Microsoft Fabric- of een gelijkwaardig Azure-product om plotselinge beëindiging van uw workloads te voorkomen.

Belangrijk

Deze functie is momenteel beschikbaar als preview-versie. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews meer juridische voorwaarden bevatten die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet in algemene beschikbaarheid zijn vrijgegeven. Voor meer informatie over deze specifieke preview, zie Azure HDInsight op AKS preview-informatie. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight- met de details en volgt u ons voor meer updates over Azure HDInsight Community-.

HDInsight in AKS introduceert het concept van clustergroepen en clusters, waarmee u de volledige waarde van Data Lakehouse kunt realiseren.

Clusters in clustergroepen vormen een logische groepering die een set clusters beheert in dezelfde pool, wat helpt bij het bouwen van robuuste interoperabiliteit onder meerdere clustertypen. Het kan worden gemaakt binnen een bestaand virtueel netwerk of buiten een virtueel netwerk.

Een clustergroep in HDInsight in AKS komt overeen met één cluster in de AKS-infrastructuur.
Clusters afzonderlijke rekenworkloads zijn, zoals Apache Spark, Apache Flink of Trino, die in dezelfde clustergroep kunnen worden gemaakt.

Voor elk clustertype moet u een clustergroep hebben. Deze kan onafhankelijk worden gemaakt of u kunt een nieuwe clustergroep maken tijdens het maken van het cluster. In deze quickstart leert u hoe u een clustergroep maakt met behulp van de Azure CLI.

Voorwaarden

Zorg ervoor dat u de vereisten voor het -abonnement hebt voltooid voordat u een clustergroep maakt.

Azure Cloud Shell starten

Azure Cloud Shell is een interactieve shell die u kunt gebruiken om de stappen in dit artikel uit te voeren. De gebruikelijke Azure-hulpprogramma's zijn vooraf geïnstalleerd en geconfigureerd voor gebruik met uw account.

- Gebruik de Bash-omgeving in Azure Cloud Shell. Zie Quickstart voor Bash in Azure Cloud Shellvoor meer informatie.
- Als u cli-referentieopdrachten liever lokaal uitvoert, installeert u de Azure CLI. Als u werkt met Windows of macOS, kunt u Overwegen Om Azure CLI uit te voeren in een Docker-container. Zie Azure CLI uitvoeren in een Docker-containervoor meer informatie.
  - Als u een lokale installatie gebruikt, meldt u zich aan bij de Azure CLI met behulp van de opdracht az login. Volg de stappen die worden weergegeven in uw terminal om het verificatieproces te voltooien. Zie Aanmelden met de Azure CLI-voor andere aanmeldingsopties.
  - Wanneer u hierom wordt gevraagd, installeert u de Azure CLI-extensie voor het eerste gebruik. Zie Extensies gebruiken met de Azure CLIvoor meer informatie over extensies.
  - Voer az version uit om de geïnstalleerde versie en afhankelijke bibliotheken te vinden. Als u een upgrade wilt uitvoeren naar de nieuwste versie, voert u az upgradeuit.
Voor dit artikel is Azure CLI versie 2.56.0 of hoger vereist. Als u Azure Cloud Shell gebruikt, is de nieuwste versie daar al geïnstalleerd.
Als u meerdere Azure-abonnementen hebt, selecteert u de juiste abonnements-id waarin de resources moeten worden gefactureerd met behulp van de opdracht az account set. Zie Azure-abonnementen beheren : Azure CLIvoor meer informatie.
U kunt Cloud Shell ook openen in een afzonderlijk browsertabblad door naar https://shell.azure.com/bashte gaan.

Omgevingsvariabelen definiëren

De eerste stap is het definiëren van de omgevingsvariabelen. Omgevingsvariabelen worden vaak gebruikt in Linux om configuratiegegevens te centraliseren om de consistentie en onderhoudbaarheid van het systeem te verbeteren. Maak de volgende omgevingsvariabelen om de namen op te geven van resources die u later in deze zelfstudie maakt:

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

Aanmelden bij Azure met behulp van de CLI

Als u opdrachten wilt uitvoeren in Azure met behulp van de CLI, moet u zich eerst aanmelden. Meld u aan met de opdracht az login.

Een resourcegroep maken

Een resourcegroep is een container voor gerelateerde resources. Alle resources moeten in een resourcegroep worden geplaatst. Met de opdracht az group create maakt u een resourcegroep met de eerder gedefinieerde $ResourceGroup en $Region parameters.

az group create --name $ResourceGroup --location $Region

Uitvoer:

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

De HDInsight-clustergroep maken in AKS

Gebruik de opdracht az hdinsight-on-aks clusterpool create om een HDInsight op een AKS-clusterpool in deze resourcegroep te maken.

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

Hier volgt een voorbeeld:

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

Het duurt enkele minuten om hdInsight te maken in een AKS-clustergroep. In de volgende voorbeelduitvoer ziet u dat de gemaakte bewerking is geslaagd.

Uitvoer:

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

Notitie

Zie opdrachtenvoor meer informatie over CLI-opdrachten voor clustergroepen.

Middelen opschonen

Wanneer u deze niet meer nodig hebt, moet u overbodige resources opschonen om Azure-kosten te voorkomen. U kunt de resourcegroep, clustergroep en alle andere resources in de resourcegroep verwijderen met behulp van de opdracht az group delete.