Delen via

Quickstart: Een HDInsight maken in een AKS-clustergroep met behulp van Azure CLI

  • Artikel

Notitie

Op 31 januari 2025 wordt Azure HDInsight buiten gebruik gesteld op AKS. Vóór 31 januari 2025 moet u uw workloads migreren naar Microsoft Fabric of een gelijkwaardig Azure-product om te voorkomen dat uw workloads plotseling worden beëindigd. De resterende clusters in uw abonnement worden gestopt en verwijderd van de host.

Alleen basisondersteuning is beschikbaar tot de buitengebruikstellingsdatum.

Belangrijk

Deze functie is momenteel beschikbaar in preview. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews bevatten meer juridische voorwaarden die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet beschikbaar zijn in algemene beschikbaarheid. Zie Azure HDInsight op AKS Preview-informatie voor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight met de details en volgt u ons voor meer updates in de Azure HDInsight-community.

HDInsight in AKS introduceert het concept van clustergroepen en clusters, waarmee u de volledige waarde van Data Lakehouse kunt realiseren.

  • Clustergroepen zijn een logische groepering van clusters en onderhouden een set clusters in dezelfde pool, wat helpt bij het bouwen van robuuste interoperabiliteit tussen meerdere clustertypen. Het kan worden gemaakt binnen een bestaand virtueel netwerk of buiten een virtueel netwerk.

    Een clustergroep in HDInsight in AKS komt overeen met één cluster in de AKS-infrastructuur.

  • Clusters zijn afzonderlijke rekenworkloads , zoals Apache Spark, Apache Flink of Trino, die kunnen worden gemaakt in dezelfde clustergroep.

Voor elk clustertype moet u een clustergroep hebben. Deze kan onafhankelijk worden gemaakt of u kunt een nieuwe clustergroep maken tijdens het maken van het cluster. In deze quickstart leert u hoe u een clustergroep maakt met behulp van de Azure CLI.

Vereisten

Zorg ervoor dat u de vereisten voor het abonnement hebt voltooid voordat u een clustergroep maakt.

Azure Cloud Shell starten

Azure Cloud Shell is een interactieve shell die u kunt gebruiken om de stappen in dit artikel uit te voeren. In deze shell zijn algemene Azure-hulpprogramma's vooraf geïnstalleerd en geconfigureerd voor gebruik met uw account.

Omgevingsvariabelen definiëren

De eerste stap is het definiëren van de omgevingsvariabelen. Omgevingsvariabelen worden vaak gebruikt in Linux om configuratiegegevens te centraliseren om de consistentie en onderhoudbaarheid van het systeem te verbeteren. Maak de volgende omgevingsvariabelen om de namen op te geven van resources die u later in deze zelfstudie maakt:

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

Aanmelden bij Azure met behulp van de CLI

Als u opdrachten wilt uitvoeren in Azure met behulp van de CLI, moet u zich eerst aanmelden. Meld u aan met de az login opdracht.

Een brongroep maken

Een resourcegroep is een container voor gerelateerde resources. Alle resources moeten in een resourcegroep worden geplaatst. Met de opdracht az group create maakt u een resourcegroep met de eerder gedefinieerde $ResourceGroup parameters $Region .

az group create --name $ResourceGroup --location $Region

Uitvoer:

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

De HDInsight-clustergroep maken in AKS

Als u een HDInsight wilt maken in een AKS-clustergroep in deze resourcegroep, gebruikt u de az hdinsight-on-aks clusterpool create opdracht:

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

Hier volgt een voorbeeld:

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

Het duurt enkele minuten om hdInsight te maken in een AKS-clustergroep. In de volgende voorbeelduitvoer ziet u dat de gemaakte bewerking is geslaagd.

Uitvoer:

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

Notitie

Zie opdrachten voor meer informatie over CLI-opdrachten voor clustergroepen.

Resources opschonen

Wanneer u deze niet meer nodig hebt, moet u overbodige resources opschonen om Azure-kosten te voorkomen. U kunt de resourcegroep, clustergroep en alle andere resources in de resourcegroep verwijderen met behulp van de az group delete opdracht.

Notitie

Als u een clustergroep wilt verwijderen, moet u ervoor zorgen dat de clustergroep geen actieve clusters bevat.