Snabbstart: Skapa en HDInsight i AKS-klusterpoolen med Hjälp av Azure CLI

Artikel
09/20/2024

Viktig

Azure HDInsight på AKS drogs tillbaka den 31 januari 2025. Läs mer genom det här meddelandet.

Du måste migrera dina arbetsbelastningar till Microsoft Fabric- eller en motsvarande Azure-produkt för att undvika plötsliga uppsägningar av dina arbetsbelastningar.

Viktig

Den här funktionen är för närvarande i förhandsversion. De supplementära användningsvillkoren för Förhandsversioner av Microsoft Azure innehåller fler juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion eller på annat sätt ännu inte finns tillgängliga för allmänheten. Information om den här specifika förhandsversionen finns i Azure HDInsight på AKS-förhandsversionsinformation. För frågor eller funktionsförslag, skicka en begäran på AskHDInsight med informationen och följ oss för fler uppdateringar från Azure HDInsight Community.

HDInsight på AKS introducerar begreppet klusterpooler och kluster, vilket gör det möjligt för dig att tillvarata det fulla värdet av data lakehouse.

klusterpooler är en logisk gruppering av kluster och underhåller en uppsättning kluster i samma pool, vilket bidrar till att skapa robust samverkan mellan flera klustertyper. Den kan skapas i ett befintligt virtuellt nätverk eller utanför ett virtuellt nätverk.

En klusterpool i HDInsight på AKS motsvarar ett kluster i AKS-infrastrukturen.
kluster är enskilda beräkningsarbetsbelastningar, till exempel Apache Spark, Apache Flink eller Trino, som kan skapas i samma klusterpool.

För varje klustertyp måste du ha en klusterpool. Den kan skapas oberoende av varandra eller så kan du skapa en ny klusterpool när klustret skapas. I den här snabbstarten får du lära dig hur du skapar en klusterpool med hjälp av Azure CLI.

Förutsättningar

Kontrollera att du har slutfört prenumerationskrav innan du skapar en klusterpool.

Starta Azure Cloud Shell

Azure Cloud Shell är ett interaktivt gränssnitt som du kan använda för att köra stegen i den här artikeln. Den har vanliga Azure-verktyg förinstallerade och konfigurerade för användning med ditt konto.

- Använd Bash-miljön i Azure Cloud Shell. Mer information finns i snabbstart för Bash i Azure Cloud Shell.
- Om du föredrar att köra CLI-referenskommandon lokalt installera Azure CLI. Om du kör i Windows eller macOS kan du överväga att köra Azure CLI i en Docker-container. Mer information finns i Så här kör du Azure CLI i en Docker-container.
  - Om du använder en lokal installation loggar du in på Azure CLI med hjälp av kommandot az login. Slutför autentiseringsprocessen genom att följa stegen som visas i terminalen. Andra inloggningsalternativ finns i Logga in med Azure CLI-.
  - När du uppmanas att installera Azure CLI-tillägget vid första användningen. Mer information om tillägg finns i Använda tillägg med Azure CLI-.
  - Kör az version för att hitta den version och de beroendebibliotek som är installerade. Om du vill uppgradera till den senaste versionen kör du az upgrade.
Den här artikeln kräver Azure CLI version 2.56.0 eller senare. Om du använder Azure Cloud Shell är den senaste versionen redan installerad där.
Om du har flera Azure-prenumerationer väljer du lämpligt prenumerations-ID där resurserna ska faktureras med kommandot az account set. Mer information finns i Hantera Azure-prenumerationer – Azure CLI.
Du kan också öppna Cloud Shell på en separat webbläsarflik genom att gå till https://shell.azure.com/bash.

Definiera miljövariabler

Det första steget är att definiera miljövariablerna. Miljövariabler används ofta i Linux för att centralisera konfigurationsdata för att förbättra systemets konsekvens och underhåll. Skapa följande miljövariabler för att ange namnen på de resurser som du skapar senare i den här självstudien:

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

Logga in på Azure med hjälp av CLI

För att kunna köra kommandon i Azure med hjälp av CLI måste du logga in först. Logga in med kommandot az login.

Skapa en resursgrupp

En resursgrupp är en container för relaterade resurser. Alla resurser måste placeras i en resursgrupp. Kommandot az group create skapar en resursgrupp med de tidigare definierade parametrarna $ResourceGroup och $Region.

az group create --name $ResourceGroup --location $Region

Utdata:

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

Skapa HDInsight i AKS-klusterpoolen

Om du vill skapa en HDInsight på AKS-klusterpoolen i den här resursgruppen använder du kommandot az hdinsight-on-aks clusterpool create:

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

Här är ett exempel:

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

Det tar några minuter att skapa HDInsight i AKS-klusterpoolen. Följande exempelutdata visar att den skapade åtgärden lyckades.

Utdata:

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

Not

Mer information om CLI-kommandon för klusterpooler finns i kommandon.

Rensa resurser

När de inte längre behövs rensar du upp onödiga resurser för att undvika Azure-avgifter. Du kan ta bort resursgruppen, klusterpoolen och alla andra resurser i resursgruppen med hjälp av kommandot az group delete.

Anteckning

Om du vill ta bort en klusterpool kontrollerar du att det inte finns några aktiva kluster i klusterpoolen.

Dela via