Dela via

Snabbstart: Skapa en HDInsight i AKS-klusterpoolen med Hjälp av Azure CLI

  • Artikel

Kommentar

Vi drar tillbaka Azure HDInsight på AKS den 31 januari 2025. Före den 31 januari 2025 måste du migrera dina arbetsbelastningar till Microsoft Fabric eller en motsvarande Azure-produkt för att undvika plötsliga uppsägningar av dina arbetsbelastningar. Återstående kluster i din prenumeration stoppas och tas bort från värden.

Endast grundläggande stöd kommer att vara tillgängligt fram till datumet för pensionering.

Viktigt!

Den här funktionen finns i förhandsgranskning. De kompletterande användningsvillkoren för Förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion eller på annat sätt ännu inte har släppts i allmän tillgänglighet. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. Om du vill ha frågor eller funktionsförslag skickar du en begäran på AskHDInsight med informationen och följer oss för fler uppdateringar i Azure HDInsight Community.

HDInsight på AKS introducerar begreppet klusterpooler och kluster, vilket gör att du kan förverkliga det fullständiga värdet av data lakehouse.

  • Klusterpooler är en logisk gruppering av kluster och underhåller en uppsättning kluster i samma pool, vilket hjälper till att skapa robust samverkan mellan flera klustertyper. Den kan skapas i ett befintligt virtuellt nätverk eller utanför ett virtuellt nätverk.

    En klusterpool i HDInsight på AKS motsvarar ett kluster i AKS-infrastrukturen.

  • Kluster är enskilda beräkningsarbetsbelastningar , till exempel Apache Spark, Apache Flink eller Trino, som kan skapas i samma klusterpool.

För varje klustertyp måste du ha en klusterpool. Den kan skapas oberoende av varandra eller så kan du skapa en ny klusterpool när klustret skapas. I den här snabbstarten får du lära dig hur du skapar en klusterpool med hjälp av Azure CLI.

Förutsättningar

Se till att du har slutfört prenumerationskraven innan du skapar en klusterpool.

Starta Azure Cloud Shell

Azure Cloud Shell är ett interaktivt gränssnitt som du kan använda för att köra stegen i den här artikeln. Den har vanliga Azure-verktyg förinstallerat och har konfigurerats för användning med ditt konto.

Definiera miljövariabler

Det första steget är att definiera miljövariablerna. Miljövariabler används ofta i Linux för att centralisera konfigurationsdata för att förbättra systemets konsekvens och underhåll. Skapa följande miljövariabler för att ange namnen på de resurser som du skapar senare i den här självstudien:

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

Logga in på Azure med hjälp av CLI

För att kunna köra kommandon i Azure med hjälp av CLI måste du logga in först. Logga in med kommandot az login .

Skapa en resursgrupp

En resursgrupp är en container för relaterade resurser. Alla resurser måste placeras i en resursgrupp. Kommandot az group create skapar en resursgrupp med de tidigare definierade $ResourceGroup parametrarna och $Region parametrarna.

az group create --name $ResourceGroup --location $Region

Utdata:

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

Skapa HDInsight i AKS-klusterpoolen

Använd kommandot för att skapa en HDInsight på AKS-klusterpoolen i den az hdinsight-on-aks clusterpool create här resursgruppen:

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

Här är ett exempel:

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

Det tar några minuter att skapa HDInsight i AKS-klusterpoolen. Följande exempelutdata visar att den skapade åtgärden lyckades.

Utdata:

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

Kommentar

Mer information om CLI-kommandon för klusterpooler finns i kommandon.

Rensa resurser

När de inte längre behövs rensar du upp onödiga resurser för att undvika Azure-avgifter. Du kan ta bort resursgruppen, klusterpoolen och alla andra resurser i resursgruppen med kommandot az group delete .

Kommentar

Om du vill ta bort en klusterpool kontrollerar du att det inte finns några aktiva kluster i klusterpoolen.