Partilhar via

Guia de início rápido: criar um HDInsight no pool de clusters AKS usando a CLI do Azure

  • Artigo

Nota

Vamos desativar o Azure HDInsight no AKS em 31 de janeiro de 2025. Antes de 31 de janeiro de 2025, você precisará migrar suas cargas de trabalho para o Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho. Os clusters restantes na sua subscrição serão interrompidos e removidos do anfitrião.

Apenas o apoio básico estará disponível até à data da reforma.

Importante

Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponibilizadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Informações de visualização do Azure HDInsight no AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade do Azure HDInsight.

O HDInsight no AKS introduz o conceito de pools de clusters e clusters, que permitem que você perceba o valor completo do data lakehouse.

  • Os pools de clusters são um agrupamento lógico de clusters e mantêm um conjunto de clusters no mesmo pool, o que ajuda na criação de interoperabilidade robusta entre vários tipos de cluster. Ele pode ser criado dentro de uma rede virtual existente ou fora de uma rede virtual.

    Um pool de clusters no HDInsight no AKS corresponde a um cluster na infraestrutura do AKS.

  • Clusters são cargas de trabalho de computação individuais, como Apache Spark, Apache Flink ou Trino, que podem ser criadas no mesmo pool de clusters.

Para cada tipo de cluster, você deve ter um pool de clusters. Ele pode ser criado independentemente ou você pode criar um novo pool de clusters durante a criação do cluster. Neste guia de início rápido, você aprenderá a criar um pool de clusters usando a CLI do Azure.

Pré-requisitos

Certifique-se de ter concluído os pré-requisitos de assinatura antes de criar um pool de clusters.

Iniciar o Azure Cloud Shell

O Azure Cloud Shell é um shell interativo que você pode usar para executar as etapas neste artigo. Tem as ferramentas comuns do Azure pré-instaladas e configuradas para utilização com a sua conta.

    • Use o ambiente Bash no Azure Cloud Shell. Para obter mais informações, consulte Guia de início rápido para Bash no Azure Cloud Shell.

    • Se preferir executar comandos de referência da CLI localmente, instale a CLI do Azure. Se estiver a utilizar o Windows ou macOS, considere executar a CLI do Azure num contentor Docker. Para obter mais informações, consulte Como executar a CLI do Azure em um contêiner do Docker.

      • Se estiver a utilizar uma instalação local, inicie sessão no CLI do Azure ao utilizar o comando az login. Para concluir o processo de autenticação, siga os passos apresentados no seu terminal. Para outras opções de entrada, consulte Entrar com a CLI do Azure.

      • Quando solicitado, instale a extensão da CLI do Azure na primeira utilização. Para obter mais informações sobre as extensões, veja Utilizar extensões com o CLI do Azure.

      • Execute o comando az version para localizar a versão e as bibliotecas dependentes instaladas. Para atualizar para a versão mais recente, execute o comando az upgrade.

  • Este artigo requer a CLI do Azure versão 2.56.0 ou superior. Se você estiver usando o Azure Cloud Shell, a versão mais recente já está instalada lá.

  • Se você tiver várias assinaturas do Azure, selecione a ID de assinatura apropriada na qual os recursos devem ser cobrados usando o comando az account set . Para obter mais informações, consulte Como gerenciar assinaturas do Azure – CLI do Azure.

  • Você também pode abrir o Cloud Shell em uma guia separada do navegador acessando .https://shell.azure.com/bash

Definir variáveis de ambiente

O primeiro passo é definir as variáveis de ambiente. As variáveis de ambiente são comumente usadas no Linux para centralizar os dados de configuração para melhorar a consistência e a capacidade de manutenção do sistema. Crie as seguintes variáveis de ambiente para especificar os nomes dos recursos que você cria posteriormente neste tutorial:

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

Faça logon no Azure usando a CLI

Para executar comandos no Azure usando a CLI, você precisa fazer logon primeiro. Faça login usando o az login comando.

Criar um grupo de recursos

Um grupo de recursos é um contêiner para recursos relacionados. Todos os recursos devem ser colocados em um grupo de recursos. O comando az group create cria um grupo de recursos com os parâmetros e $Region definidos anteriormente$ResourceGroup.

az group create --name $ResourceGroup --location $Region

Saída:

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

Criar o HDInsight no pool de clusters AKS

Para criar um HDInsight no pool de clusters AKS neste grupo de recursos, use o az hdinsight-on-aks clusterpool create comando:

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

Eis um exemplo:

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

Leva alguns minutos para criar o HDInsight no pool de clusters AKS. A saída de exemplo a seguir mostra que a operação criada foi bem-sucedida.

Saída:

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

Nota

Para obter mais informações sobre comandos da CLI do pool de clusters, consulte comandos.

Clean up resources (Limpar recursos)

Quando não for mais necessário, limpe recursos desnecessários para evitar cobranças do Azure. Você pode remover o grupo de recursos, o pool de clusters e todos os outros recursos do grupo de recursos usando o az group delete comando.

Nota

Para excluir um pool de clusters, verifique se não há clusters ativos no pool de clusters.