Partilhar via

Notas de versão arquivadas do Azure HDInsight no AKS

  • Artigo

Nota

Vamos desativar o Azure HDInsight no AKS em 31 de janeiro de 2025. Antes de 31 de janeiro de 2025, você precisará migrar suas cargas de trabalho para o Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho. Os clusters restantes na sua subscrição serão interrompidos e removidos do anfitrião.

Apenas o apoio básico estará disponível até à data da reforma.

Importante

Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponibilizadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Informações de visualização do Azure HDInsight no AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade do Azure HDInsight.

O Azure HDInsight no AKS é um dos serviços mais populares entre os clientes empresariais para análises de código aberto no Azure. Se você gostaria de se inscrever em notas de versão, assista aos lançamentos neste repositório GitHub.

Data de lançamento: Aug 05, 2024

Esta versão aplica-se ao seguinte

  • Versão do pool de clusters: 1.2
  • Versão do cluster: 1.2.1
  • AKS versão: 1.27

Novos recursos

Autenticação SQL baseada em MSI Os usuários agora podem autenticar Metastore externo do Banco de Dados SQL do Azure com MSI em vez da autenticação de senha de ID de usuário. Esse recurso ajuda a proteger ainda mais a conexão do cluster com o Metastore.

SKUs de VM configuráveis para nó principal, nó SSH Essa funcionalidade permite que os usuários escolham SKUs específicos para nós principais, nós de trabalho e nós SSH, oferecendo a flexibilidade de selecionar de acordo com o caso de uso e o potencial de reduzir o custo total de propriedade (TCO).

Vários MSI no cluster Os usuários podem configurar vários MSI para operações de administradores de cluster e para acesso a recursos relacionados ao trabalho. Esse recurso permite que os usuários demarquem e controlem o acesso ao cluster e aos dados que se encontram na conta de armazenamento. Por exemplo, um MSI para acesso a dados na conta de armazenamento e MSI dedicado para operações de cluster.

Atualizado

Ação de script A ação de script agora pode ser adicionada com a permissão de usuário Sudo. Os usuários agora podem instalar várias dependências, incluindo jars personalizados para personalizar os clusters conforme necessário.

Recurso de atalho do repositório Maven Gerenciamento de Biblioteca adicionado ao Gerenciamento de Biblioteca nesta versão. O usuário agora pode instalar dependências do Maven diretamente dos repositórios de código aberto.

Spark 3.4 Spark 3.4 atualização traz uma gama de novos recursos inclui

  • Aprimoramentos da API
  • Melhorias no streaming estruturado
  • Melhor usabilidade e experiência do desenvolvedor

Importante

Para aproveitar todos esses recursos mais recentes, é necessário criar um novo pool de clusters com 1.2 e a versão 1.2.1 do cluster

Problemas conhecidos

  • Limitação de identidade da carga de trabalho:
    • Há uma limitação conhecida ao fazer a transição para a identidade da carga de trabalho. Esta limitação deve-se à natureza sensível à permissão das operações FIC. Os usuários não podem executar a exclusão de um cluster excluindo o grupo de recursos. As solicitações de exclusão de cluster devem ser acionadas pelo aplicativo/usuário/principal com permissões FIC/delete. Caso a exclusão FIC falhe, a exclusão de cluster de alto nível também falhará.
    • Suporte a Identidades Gerenciadas Atribuídas pelo Usuário (UAMI) – Há um limite de 20 FICs por UAMI. Você só pode criar 20 credenciais federadas em uma identidade. No HDInsight no cluster AKS, FIC (Federated Identity Credential) e SA têm mapeamento um-para-um e apenas 20 SAs podem ser criadas em relação a um MSI. Se você quiser criar mais clusters, será necessário fornecer MSIs diferentes para superar a limitação.
    • Atualmente, não há suporte para a criação de credenciais de identidade federada em identidades gerenciadas atribuídas pelo usuário criadas nessas regiões

Versão do sistema operacional

  • Mariner OS 2.0

Versões de carga de trabalho

Carga de trabalho Versão
Trino 440
Flink 1.17.0
Faísca Apache 3.4

Versões Java e Scala suportadas

Carga de trabalho Java Scala
Trino Abrir JDK 21.0.2 - 
Flink Abrir JDK 11.0.21 2.12.7
Spark Abra o JDK 1.8.0_345 2.12.15

A pré-visualização está disponível nas seguintes regiões.

Se tiver mais alguma dúvida, contacte o Suporte do Azure ou consulte a página de opções de Suporte. Se você tiver feedback específico do produto, escreva-nos aka.ms/askhdinsight.

Data de lançamento: 20 de março de 2024

Esta versão aplica-se ao seguinte

  • Versão do pool de clusters: 1.1
  • Versão do cluster: 1.1.1
  • AKS versão: 1.27

Novos recursos

Cluster do modo de aplicativo Apache Flink

Os clusters de modo de aplicativo são projetados para oferecer suporte a recursos dedicados para trabalhos grandes e de longa execução. Quando você tiver tarefas de processamento de dados com uso intensivo de recursos ou extensas, poderá usar o Cluster do Modo de Aplicativo. Esse modo permite alocar recursos dedicados para aplicativos Apache Flink específicos, garantindo que eles tenham o poder de computação e a memória necessários para lidar com grandes cargas de trabalho de forma eficaz.

Para obter mais informações, consulte Cluster do Modo de Aplicativo Apache Flink no HDInsight no AKS.

Clusters privados para HDInsight no AKS

Com clusters privados e configurações de cluster de saída, agora você pode controlar o tráfego de entrada e saída do HDInsight em pools de clusters e clusters AKS.

  • Use o Firewall do Azure ou NSGs (Grupos de Segurança de Rede) para controlar o tráfego de saída, quando optar por usar o pool de clusters de saída com o balanceador de carga.
  • Use o pool de clusters de saída com roteamento definido pelo usuário para controlar o tráfego de saída no nível da sub-rede.
  • Use o recurso de cluster AKS privado - Para garantir que o plano de controle AKS ou o servidor API tenha endereços IP internos. O tráfego de rede entre o plano de controlo AKS/servidor API e o HDInsight em pools de nós AKS (clusters) permanece apenas na rede privada.
  • Evite criar IPs públicos para o cluster. Use o recurso de entrada privada em seus clusters.

Para obter mais informações, consulte Controlar o tráfego de rede do HDInsight em pools e clusters do AKS Cluster.

Atualização no local

Atualize seus clusters e pools de clusters com as atualizações de software mais recentes. Isso significa que você pode aproveitar os hotfixes de pacote de cluster mais recentes, atualizações de segurança e patches AKS, sem recriar clusters. Para obter mais informações, consulte Atualizar o HDInsight em clusters e pools de clusters AKS.

Importante

Para aproveitar todos esses recursos mais recentes, é necessário criar um novo pool de clusters com 1.1 e a versão 1.1.1 do cluster.

Problemas conhecidos

  • Limitação de identidade da carga de trabalho:
    • Há uma limitação conhecida ao fazer a transição para a identidade da carga de trabalho. Esta limitação deve-se à natureza sensível à permissão das operações FIC. Os usuários não podem executar a exclusão de um cluster excluindo o grupo de recursos. As solicitações de exclusão de cluster devem ser acionadas pelo aplicativo/usuário/principal com permissões FIC/delete. Caso a exclusão FIC falhe, a exclusão de cluster de alto nível também falhará.
    • Suporte a Identidades Gerenciadas Atribuídas pelo Usuário (UAMI) – Há um limite de 20 FICs por UAMI. Você só pode criar 20 credenciais federadas em uma identidade. No HDInsight no cluster AKS, FIC (Federated Identity Credential) e SA têm mapeamento um-para-um e apenas 20 SAs podem ser criadas em relação a um MSI. Se você quiser criar mais clusters, será necessário fornecer MSIs diferentes para superar a limitação.
    • Atualmente, não há suporte para a criação de credenciais de identidade federada em identidades gerenciadas atribuídas pelo usuário criadas nessas regiões

Versão do sistema operacional

  • Mariner OS 2.0

Versões de carga de trabalho

Carga de trabalho Versão
Trino 426
Flink 1.17.0
Faísca Apache 3.3.1

Versões Java e Scala suportadas

Carga de trabalho Java Scala
Trino Abrir JDK 17.0.7 - 
Flink Abrir JDK 11.0.21 2.12.7
Spark Abra o JDK 1.8.0_345 2.12.15

A pré-visualização está disponível nas seguintes regiões.

Se tiver mais alguma dúvida, contacte o Suporte do Azure ou consulte a página de opções de Suporte. Se você tiver feedback específico do produto, escreva-nos aka.ms/askhdinsight.

Data de lançamento: 05 de fevereiro de 2024

Esta versão aplica-se ao seguinte

  • Versão do pool de clusters: 1.1
  • Versão do cluster: 1.1.0
  • AKS versão: 1.27

Gorjeta

Para criar um novo cluster HDInsight no AKS na versão 1.1.0, é necessário criar um novo pool de clusters com a versão 1.1

Novos recursos

  • A Identidade da Carga de Trabalho é suportada por padrão para pools de clusters na versão 1.1
  • Trino clusters suportam Trino 426 a partir da versão 1.1.0
    • O HDInsight no AKS agora inclui todas as mudanças até o Trino 426 com várias melhorias notáveis fornecidas pela comunidade. Saiba mais sobre a Trino aqui.
  • A forma de cluster Trino agora suporta dimensionamento automático baseado em carga a partir da versão 1.1.0
    • O Trino no HDInsight no AKS agora suporta dimensionamento automático baseado em carga, tornando o cluster mais econômico. Saiba mais sobre o assunto aqui.
  • A forma de cluster Trino adiciona metastore de hive simplificado e configuração de catálogos
    • O HDInsight no AKS simplificou a configuração do metastore externo do Hive para o cluster Trino. Agora você pode especificar metastore externo em config.properties e habilitá-lo para cada catálogo com um único parâmetro. Saiba mais sobre melhorias aqui.
  • Forma de cluster Trino adiciona conector sql fragmentado
  • Os clusters Flink agora suportam Flink 1.17.0 do HDInsight na versão AKS 1.1.0
    • O HDInsight no AKS agora suporta a versão Flink 1.17.0, com melhorias significativas nos pontos de verificação, gráfico de chama no nível da subtarefa, alinhamentos de marca d'água. Saiba mais sobre a versão 1.17 do Flink aqui
  • O Flink SQL Gateway agora é suportado pelo HDInsight na versão AKS 1.1.0 com clusters de sessão Flink

Correções de bugs e CVEs

  • Esta versão inclui várias correções críticas de CVE em toda a plataforma e componentes de código aberto.
  • A forma de cluster Trino exclui automaticamente as tabelas do sistema do cache
  • A forma de cluster Trino melhora a manipulação de fusos horários de carimbo de data/hora do Power BI

Problemas conhecidos

  • Limitação de identidade da carga de trabalho:
    • Há uma limitação conhecida ao fazer a transição para a identidade da carga de trabalho. Isso se deve à natureza sensível à permissão das operações FIC. Os usuários não podem executar a exclusão de um cluster excluindo o grupo de recursos. As solicitações de exclusão de cluster devem ser acionadas pelo aplicativo/usuário/principal com permissões FIC/delete. Caso a exclusão FIC falhe, a exclusão de cluster de alto nível também falhará.

Novas regiões

  • Ásia Leste

Versão do sistema operacional

  • Mariner OS 2.0

Versões de carga de trabalho

Carga de trabalho Versão
Trino 426
Flink 1.17.0
Faísca Apache 3.3.1

Versões Java e Scala suportadas

Carga de trabalho Java Scala
Trino Abrir JDK 17.0.7 - 
Flink Abrir JDK 11.0.21 2.12.7
Spark Abra o JDK 1.8.0_345 2.12.15

A pré-visualização está disponível nas seguintes regiões.

Se tiver mais alguma dúvida, contacte o Suporte do Azure ou consulte a página de opções de Suporte. Se você tiver feedback específico do produto, escreva-nos aka.ms/askhdinsight.

Próximos passos

Data de lançamento: 13 de dezembro de 2023

Esta versão do hotfix aplica-se ao seguinte

  • Versão do pool de clusters: 1.0
  • Versão do cluster: 1.0.6

Problemas Conhecidos

  • Suporte à interface de usuário de locatários seguros

    • Esta versão resolve um problema em que as URLs da Web do componente de código aberto para o HDInsight em clusters AKS estavam inacessíveis. Para aplicar essa correção, entre em contato com o suporte do Azure para habilitá-la em sua assinatura/locatário.

    Como aplicar o Hotfix

    • Recrie seu cluster
      • Para aplicar esse hotfix, os usuários existentes são obrigados a recriar seu cluster em um pool de cluster existente.

Versão do sistema operacional

  • Mariner OS 2.0

Versões de carga de trabalho

Carga de trabalho Versão
Trino 410
Flink 1.16
Faísca Apache 3.3.1

Versões Java e Scala suportadas

Carga de trabalho Java Scala
Trino Abrir JDK 17.0.7 - 
Flink Abrir JDK 11.0.21 2.12.7
Spark Abra o JDK 1.8.0_345 2.12.15

A pré-visualização está disponível nas seguintes regiões.

Se tiver mais alguma dúvida, contacte o Suporte do Azure ou consulte a página de opções de Suporte.