Partilhar via

Notas de versão arquivadas do Azure HDInsight no AKS

  • Artigo

Importante

O Azure HDInsight no AKS foi desativado em 31 de janeiro de 2025. Saiba mais com este anúncio.

Você precisa migrar suas cargas de trabalho para Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.

Importante

Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Versões de Pré-visualização do Microsoft Azure incluem mais termos legais que se aplicam às funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não lançadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Azure HDInsight no AKS informações de visualização. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações sobre da Comunidade do Azure HDInsight.

O Azure HDInsight no AKS é um dos serviços mais populares entre os clientes empresariais para análises de código aberto no Azure. Se pretender inscrever-se nas notas de lançamento, acompanhe os lançamentos neste repositório GitHub .

Data de lançamento: Aug 05, 2024

Esta versão aplica-se aos seguintes

  • Versão do pool de clusters: 1.2
  • Versão do cluster: 1.2.1
  • AKS versão: 1.27

Novos recursos

pt-PT: autenticação SQL baseada em MSI Os utilizadores agora podem autenticar o Metastore externo da Base de Dados SQL do Azure com MSI em vez da autenticação por palavra-passe de ID de utilizador. Esse recurso ajuda a proteger ainda mais a conexão do cluster com o Metastore.

SKUs de VM configuráveis para nó principal, nó SSH Essa funcionalidade permite que os usuários escolham SKUs específicos para nós principais, nós de trabalho e nós SSH, oferecendo a flexibilidade de selecionar de acordo com o caso de uso e o potencial de reduzir o custo total de propriedade (TCO).

Vários MSI no de cluster Os utilizadores podem configurar vários MSI para as operações dos administradores do cluster e o acesso a recursos relacionados com o trabalho. Esse recurso permite que os usuários demarquem e controlem o acesso ao cluster e aos dados que se encontram na conta de armazenamento. Por exemplo, um MSI para acesso a dados na conta de armazenamento e um MSI dedicado para operações de cluster.

Atualizado

Ação de Script Agora a ação de Script pode ser adicionada com permissão de utilizador Sudo. Os usuários agora podem instalar várias dependências, incluindo jars personalizados para personalizar os clusters conforme necessário.

Gerenciamento de Bibliotecas O recurso de atalho do repositório Maven foi adicionado ao Gerenciamento de Bibliotecas nesta versão. O usuário agora pode instalar dependências do Maven diretamente dos repositórios de código aberto.

atualização do Spark 3.4 Spark 3.4 traz uma série de novos recursos, incluindo

  • Aprimoramentos da API
  • Melhorias no streaming estruturado
  • Melhor usabilidade e experiência do desenvolvedor

Importante

Para aproveitar todos esses recursos mais recentes, é necessário criar um novo pool de clusters com 1.2 e a versão 1.2.1 do cluster

Problemas conhecidos

  • Limitação de identidade da carga de trabalho:
    • Há uma limitação conhecida ao fazer a transição para a identidade de carga de trabalho. Esta limitação deve-se à natureza sensível à permissão das operações FIC. Os usuários não podem executar a exclusão de um cluster excluindo o grupo de recursos. As solicitações de eliminação de cluster devem ser acionadas pela aplicação/utilizador/principal com permissões FIC/delete. Caso a exclusão FIC falhe, a exclusão do cluster de alto nível também falhará.
    • Suporte a Identidades Gerenciadas Atribuídas pelo Usuário (UAMI) – Há um limite de 20 FICs por UAMI. Você só pode criar 20 credenciais federadas em uma identidade. No HDInsight no cluster AKS, FIC (Federated Identity Credential) e SA têm mapeamento um-para-um e apenas 20 SAs podem ser associadas a um MSI. Se você quiser criar mais clusters, será necessário fornecer MSIs diferentes para superar a limitação.
    • Atualmente, a criação de credenciais de identidade federada não é suportada em identidades geridas atribuídas pelo utilizador criadas nessas regiões .

Versão do sistema operacional

  • Mariner OS 2.0

Versões de Carga de Trabalho

Carga de trabalho Versão
Trino 440
Flink 1.17.0
Apache Spark 3.4

Versões Java e Scala suportadas

Carga de trabalho Java Escala
Trino Abrir JDK 21.0.2 - 
Flink Abrir JDK 11.0.21 2.12.7
Faísca Open JDK 1.8.0_345 2.12.15

A pré-visualização está disponível nas seguintes regiões .

Se tiver mais alguma dúvida, contacte Suporte da Azure ou consulte a página de Opções de Suporte. Se tiveres feedback específico sobre o produto, envia-nos em aka.ms/askhdinsight.

Data de lançamento: 20 de março de 2024

Esta versão aplica-se aos seguintes

  • Versão do pool de clusters: 1.1
  • Versão do cluster: 1.1.1
  • AKS versão: 1.27

Novas Funcionalidades

de cluster do modo de aplicativo Apache Flink

Os clusters de modo de aplicativo são projetados para oferecer suporte a recursos dedicados para trabalhos grandes e de longa execução. Quando você tiver tarefas de processamento de dados com uso intensivo de recursos ou extensas, poderá usar o Application Mode Cluster. Esse modo permite alocar recursos dedicados para aplicativos Apache Flink específicos, garantindo que eles tenham o poder de computação e a memória necessários para lidar com grandes cargas de trabalho de forma eficaz.

Para obter mais informações, consulte cluster do Modo de Aplicativo Apache Flink no HDInsight no AKS.

Clusters privados para HDInsight no AKS

Agora, com clusters privados e configurações de cluster de saída, pode controlar o tráfego de entrada e saída do HDInsight em pools e clusters AKS.

  • Use o Firewall do Azure ou os NSGs (Grupos de Segurança de Rede) para controlar o tráfego de saída, quando optar por usar o pool de clusters para saída com o balanceador de carga.
  • Use o conjunto de clusters de saída com roteamento definido pelo utilizador para controlar o tráfego de saída ao nível da sub-rede.
  • Use o recurso de cluster AKS privado - Para garantir que o plano de controle AKS ou o servidor API tenha endereços IP internos. O tráfego de rede entre o plano de controlo AKS/servidor API e o HDInsight em pools de nós AKS (clusters) permanece apenas na rede privada.
  • Evite criar IPs públicos para o cluster. Use o recurso de entrada privada em seus clusters.

Para obter mais informações, consulte Controlar o tráfego de rede do HDInsight em clusters e pools de clusters AKS.

No local Atualizar

Atualize seus clusters e pools de clusters com as atualizações de software mais recentes. Isso significa que pode aproveitar os hotfixes de pacote de cluster mais recentes, atualizações de segurança e patches AKS, sem a necessidade de recriar os clusters. Para obter mais informações, consulte Atualizar o HDInsight nos clusters AKS e pools de clusters.

Importante

Para aproveitar todos esses recursos mais recentes, é necessário criar um novo pool de clusters com 1.1 e a versão de cluster 1.1.1.

Problemas conhecidos

  • Limitação de identidade da carga de trabalho:
    • Há uma limitação conhecida ao fazer a transição para identidade de carga de trabalho. Esta limitação deve-se à natureza sensível à permissão das operações FIC. Os usuários não podem executar a exclusão de um cluster excluindo o grupo de recursos. As solicitações de eliminação de cluster devem ser acionadas pela aplicação/utilizador/principal com permissões FIC/delete. Caso a exclusão FIC falhe, a exclusão do cluster de alto nível também falhará.
    • Suporte a Identidades Gerenciadas Atribuídas pelo Usuário (UAMI) – Há um limite de 20 FICs por UAMI. Você só pode criar 20 credenciais federadas em uma identidade. No HDInsight dentro do cluster AKS, FIC (Federated Identity Credential) e SA têm um mapeamento um-para-um e apenas 20 SAs podem ser criados em relação a um MSI. Se você quiser criar mais clusters, será necessário fornecer MSIs diferentes para superar a limitação.
    • Atualmente, não há suporte para a criação de credenciais de identidade federativas em identidades geridas atribuídas pelo utilizador criadas nessas regiões .

Versão do sistema operacional

  • Mariner OS 2.0

versões de carga de trabalho

Carga de trabalho Versão
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

Versões Java e Scala suportadas

Carga de trabalho Java Scala
Trino Abrir JDK 17.0.7 - 
Flink Abrir JDK 11.0.21 2.12.7
Faísca Open JDK 1.8.0_345 2.12.15

A pré-visualização está disponível nas seguintes regiões .

Se tiver mais alguma dúvida, contacte o Suporte do Azure ou consulte a página Opções de Suporte. Se você tiver feedback específico do produto, escreva-nos em aka.ms/askhdinsight.

Data de lançamento: 05 de fevereiro de 2024

Esta versão aplica-se aos seguintes

  • Versão do pool de clusters: 1.1
  • Versão do cluster: 1.1.0
  • AKS versão: 1.27

Dica

Para criar um novo cluster HDInsight no AKS na versão 1.1.0, é necessário criar um novo pool de clusters com a versão 1.1

Novos recursos

  • de Identidade de Carga de Trabalho é suportado por padrão para pools de clusters na versão 1.1
  • Trino clusters suportam Trino 426 a partir da versão 1.1.0
    • O HDInsight em AKS agora inclui todas as alterações até ao Trino 426, com várias melhorias destacadas fornecidas pela comunidade. Saiba mais sobre Trino aqui.
  • A forma de cluster Trino agora suporta dimensionamento automático baseado em carga a partir da versão 1.1.0
    • O Trino no HDInsight no AKS agora suporta dimensionamento automático baseado em carga, tornando o cluster mais econômico. Saiba mais sobre isso aqui.
  • A configuração do cluster Trino adiciona metastore de hive simplificada e configuração de catálogos
    • O HDInsight no AKS simplificou a configuração do metastore externo do Hive para o cluster Trino. Agora você pode especificar metastore externo em config.properties e habilitá-lo para cada catálogo com um único parâmetro. Saiba mais sobre aprimoramentos aqui.
  • A forma do cluster Trino adiciona um conector SQL particionado
  • Os clusters Flink agora suportam Flink 1.17.0 do HDInsight na versão AKS 1.1.0
    • O HDInsight no AKS agora suporta a versão Flink 1.17.0, com melhorias significativas nos pontos de verificação, gráfico de chama no nível da subtarefa, alinhamentos de marca d'água. Saiba mais sobre a versão 1.17 do Flink aqui
  • O Flink SQL Gateway é agora suportado no HDInsight a partir da versão 1.1.0 do AKS, com clusters de sessão do Flink.

Correções de erros & CVEs

  • Esta versão inclui várias correções críticas de CVE em toda a plataforma e componentes de código aberto.
  • A forma de cluster Trino exclui automaticamente as tabelas do sistema do armazenamento em cache.
  • A forma do cluster Trino melhora a manipulação de fusos horários de timestamps do Power BI

Problemas conhecidos

  • Limitação de identidade da carga de trabalho:
    • Há uma limitação conhecida ao fazer a transição para a identidade de trabalho. Isso deve-se à natureza das operações FIC, que são sensíveis às permissões. Os usuários não podem executar a exclusão de um cluster excluindo o grupo de recursos. As solicitações de exclusão de cluster devem ser acionadas pelo aplicativo/usuário/principal com permissões FIC/delete. Caso a exclusão do FIC falhe, a exclusão do cluster de alto nível também falhará.

Novas regiões

  • Ásia Oriental

Versão do sistema operacional

  • Mariner OS 2.0

versões de carga de trabalho

Carga de trabalho Versão
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

Versões Java e Scala suportadas

Carga de trabalho Java Scala
Trino Abrir JDK 17.0.7 - 
Flink Abrir JDK 11.0.21 2.12.7
Faísca OpenJDK 1.8.0_345 2.12.15

A pré-visualização está disponível nas seguintes regiões .

Se tiver mais alguma dúvida, contacte Suporte da Azure ou consulte a página Opções de Suporte. Se tiver feedback específico sobre o produto, envie-nos uma mensagem em aka.ms/askhdinsight.

Próximos passos

Data de lançamento: 13 de dezembro de 2023

Esta atualização de correção é aplicável aos seguintes

  • Versão do pool de clusters: 1.0
  • Versão do cluster: 1.0.6

Problemas conhecidos

  • Suporte à Interface de Utilizador do Secure Tenants

    • Esta versão resolve um problema em que as URLs da Web do componente de código aberto para o HDInsight em clusters AKS estavam inacessíveis. Para aplicar essa correção, entre em contato com o suporte do Azure para habilitá-la em sua assinatura/locatário.

    Como aplicar o Hotfix

    • Recrie seu cluster
      • Para aplicar este hotfix, os utilizadores existentes são obrigados a recriar o seu cluster num pool de cluster já existente.

Versão do sistema operacional

  • Mariner OS 2.0

versões de carga de trabalho

Carga de trabalho Versão
Trino 410
Flink 1.16
Apache Spark 3.3.1

Versões Java e Scala suportadas

Carga de trabalho Java Scala
Trino Abrir JDK 17.0.7 - 
Flink Abrir JDK 11.0.21 2.12.7
Faísca OpenJDK 1.8.0_345 2.12.15

A pré-visualização está disponível nas seguintes regiões .

Se tiver mais alguma dúvida, contacte Suporte do Azure ou consulte a página de Opções de Suporte.