Avvio rapido: Creare un cluster HDInsight su un pool di cluster AKS utilizzando l'interfaccia della riga di comando di Azure
Importante
Azure HDInsight su Azure Kubernetes Service è stato ritirato il 31 gennaio 2025. Scopri di più con questo annuncio.
È necessario eseguire la migrazione dei carichi di lavoro a Microsoft Fabric o a un prodotto Azure equivalente per evitare la chiusura brusca dei carichi di lavoro.
Importante
Questa funzionalità è attualmente in anteprima. Le condizioni supplementari per l'utilizzo per le anteprime di Microsoft Azure includono termini legali più validi applicabili alle funzionalità di Azure in versione beta, in anteprima o altrimenti non ancora rilasciate nella disponibilità generale. Per informazioni su questa anteprima specifica, vedere informazioni sull'anteprima di Azure HDInsight su AKS. Per domande o suggerimenti sulle funzionalità, inviare una richiesta su AskHDInsight con i dettagli e seguire per ulteriori aggiornamenti su Community di Azure HDInsight.
HDInsight su AKS introduce il concetto di pool di cluster e cluster, che permettono di sfruttare appieno il valore dei data lakehouse.
pool di cluster sono un raggruppamento logico di cluster e mantengono un set di cluster nello stesso pool, che consente di creare un'interoperabilità affidabile tra più tipi di cluster. Può essere creato all'interno di una rete virtuale esistente o all'esterno di una rete virtuale.
Un pool di cluster in HDInsight su AKS corrisponde a un cluster nell'infrastruttura di AKS.
cluster sono singoli carichi di lavoro di calcolo, ad esempio Apache Spark, Apache Flink o Trino, che possono essere creati nello stesso pool di cluster.
Per ogni tipo di cluster, è necessario disporre di un pool di cluster. Può essere creato in modo indipendente oppure è possibile creare un nuovo pool di cluster durante la creazione del cluster. In questa guida introduttiva si apprenderà come creare un pool di cluster usando l'interfaccia della riga di comando di Azure.
Prerequisiti
Assicurarsi di aver completato i prerequisiti della sottoscrizione prima di creare un pool di cluster.
Avviare Azure Cloud Shell
Azure Cloud Shell è una shell interattiva che è possibile usare per eseguire i passaggi descritti in questo articolo. Include strumenti di Azure comuni preinstallati e configurati per l'uso con l'account.
-
Usare l'ambiente Bash in Azure Cloud Shell. Per altre informazioni, vedere Avvio rapido per Bash in Azure Cloud Shell.
Se si preferisce eseguire i comandi di riferimento dell'interfaccia della riga di comando in locale, installare l'interfaccia della riga di comando di Azure. Se si esegue in Windows o macOS, è consigliabile eseguire l'interfaccia della riga di comando di Azure in un contenitore Docker. Per altre informazioni, vedere Come eseguire l'interfaccia della riga di comando di Azure in un contenitore Docker.
Se si usa un'installazione locale, accedere all'interfaccia della riga di comando di Azure usando il comando az login. Per completare il processo di autenticazione, seguire i passaggi visualizzati nel terminale. Per altre opzioni di accesso, vedere Accedere con l'interfaccia della riga di comando di Azure.
Quando richiesto, installare l'estensione CLI di Azure al primo utilizzo. Per altre informazioni sulle estensioni, vedere Usare le estensioni con l'interfaccia della riga di comando di Azure.
Eseguire az version per trovare la versione e le librerie dipendenti installate. Per eseguire l'aggiornamento alla versione più recente, utilizzare az upgrade.
Questo articolo richiede l'interfaccia della riga di comando di Azure versione 2.56.0 o successiva. Se si usa Azure Cloud Shell, la versione più recente è già installata.
Se sono presenti più sottoscrizioni di Azure, selezionare l'ID della sottoscrizione appropriata in cui le risorse devono essere fatturate usando il comando az account set. Per altre informazioni, vedere Come gestire le sottoscrizioni di Azure - Interfaccia della riga di comando di Azure.
È anche possibile aprire Cloud Shell in una scheda del browser separata passando a https://shell.azure.com/bash.
Definire le variabili di ambiente
Il primo passaggio consiste nel definire le variabili di ambiente. Le variabili di ambiente vengono comunemente usate in Linux per centralizzare i dati di configurazione per migliorare la coerenza e la gestibilità del sistema. Creare le variabili di ambiente seguenti per specificare i nomi delle risorse create più avanti in questa esercitazione:
export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"
Accedere ad Azure usando l'interfaccia della riga di comando
Per eseguire i comandi in Azure usando l'interfaccia della riga di comando, è prima necessario eseguire l'accesso. Accedere usando il comando az login.
Creare un gruppo di risorse
Un gruppo di risorse è un contenitore per le risorse correlate. Tutte le risorse devono essere inserite in un gruppo di risorse. Il comando az group create crea un gruppo di risorse con i parametri $ResourceGroup e $Region definiti in precedenza.
az group create --name $ResourceGroup --location $Region
Prodotto:
{
"id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
"location": "eastus",
"managedBy": null,
"name": "HDIonAKSCLI",
"properties": {
"provisioningState": "Succeeded"
},
"tags": null,
"type": "Microsoft.Resources/resourceGroups"
}
Creare il pool di cluster HDInsight su AKS
Per creare un pool di cluster HDInsight su AKS in questo gruppo di risorse, usare il comando az hdinsight-on-aks clusterpool create:
az hdinsight-on-aks clusterpool create --cluster-pool-name
--resource-group
[--api-server-authorized-ip-ranges]
[--cluster-pool-version]
[--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
[--la-workspace-id]
[--location]
[--managed-rg-name]
[--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
[--outbound-type {loadBalancer, userDefinedRouting}]
[--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
[--subnet-id]
[--tags]
[--workernode-size]
Ecco un esempio:
az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion
La creazione del pool di cluster HDInsight su AKS richiede alcuni minuti. L'output di esempio seguente mostra che l'operazione creata è stata completata correttamente.
Prodotto:
{
"aksClusterProfile": {
"aksClusterAgentPoolIdentityProfile": {
"msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
"msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
"msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
},
"aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
"aksVersion": "1.27.9"
},
"aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
"clusterPoolProfile": {
"clusterPoolVersion": "1.1"
},
"computeProfile": {
"count": 3,
"vmSize": "Standard_E4s_v3"
},
"deploymentId": "00000000000000000000XXXX",
"id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
"location": "EastUS",
"managedResourceGroupName": "hdi-00000000000000000000XXXX",
"name": "contosopool",
"provisioningState": "Succeeded",
"resourceGroup": "HDIonAKSCLI",
"status": "Running",
"systemData": {
"createdAt": "2024-05-31T15:02:42.2172295Z",
"createdBy": "john@contoso.com",
"createdByType": "User",
"lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
"lastModifiedBy": "john@contoso.com",
"lastModifiedByType": "User"
},
"type": "microsoft.hdinsight/clusterpools"
}
Pulire le risorse
Quando non sono più necessarie, pulire le risorse non necessarie per evitare addebiti di Azure. È possibile rimuovere il gruppo di risorse, il pool di cluster e tutte le altre risorse nel gruppo di risorse usando il comando az group delete.
Nota
Per eliminare un pool di cluster, assicurarsi che non siano presenti cluster attivi nel pool di cluster.