Compartilhar via

Notas de versão arquivadas do Azure HDInsight no AKS

  • Artigo

Importante

O Azure HDInsight no AKS se aposentou em 31 de janeiro de 2025. Saiba mais com este comunicado.

Você precisa migrar suas cargas de trabalho para microsoft fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.

Importante

Esse recurso está atualmente em versão prévia. Os termos de uso complementares para o Microsoft Azure Previews incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, consulte Azure HDInsight em informações de visualização do AKS. Para perguntas ou sugestões de funcionalidades, envie uma solicitação em AskHDInsight com os detalhes e siga-nos para mais atualizações sobre a Comunidade Azure HDInsight .

O Azure HDInsight no AKS é um dos serviços mais populares entre os clientes corporativos para análise de software livre no Azure. Se você quiser assinar as notas de lançamento, acompanhe os lançamentos neste repositório GitHub .

Data de lançamento: 05 de agosto de 2024

Esta versão é aplicável aos seguintes

  • Versão do pool de cluster: 1.2
  • Versão do cluster: 1.2.1
  • Versão do AKS: 1.27

Novos recursos

autenticação SQL baseada em MSI Os usuários agora podem autenticar o metastore do banco de dados SQL externo do Azure com MSI em vez de autenticação de senha de ID de usuário. Esse recurso ajuda a proteger ainda mais a conexão de cluster com o Metastore.

SKUs de VM configuráveis para nó Principal, nó SSH Essa funcionalidade permite que os usuários escolham SKUs específicas para nós principais, nós de trabalho e nós SSH, oferecendo a flexibilidade para selecionar de acordo com o caso de uso e o potencial para reduzir o custo total de propriedade (TCO).

várias MSI no cluster Os usuários podem configurar várias MSI para operações de administradores de cluster e para acesso a recursos relacionados ao trabalho. Esse recurso permite que os usuários demarquem e controlem o acesso ao cluster e aos dados na conta de armazenamento. Por exemplo, uma MSI para acesso a dados na conta de armazenamento e MSI dedicada para operações de cluster.

Atualizado

Ação script Ação de Script agora pode ser adicionada com a permissão do usuário sudo. Agora, os usuários podem instalar várias dependências, incluindo jars personalizados para personalizar os clusters conforme necessário.

recurso de atalho de repositório do de Gerenciamento de Bibliotecas do Maven adicionado ao Gerenciamento de Bibliotecas nesta versão. Agora, o usuário pode instalar dependências do Maven diretamente dos repositórios de software livre.

atualização do Spark 3.4 Spark 3.4 traz uma variedade de novos recursos inclui

  • Aprimoramentos da API
  • Melhorias estruturadas de streaming
  • Melhor usabilidade e experiência do desenvolvedor

Importante

Para se beneficiar de todos esses recursos mais recentes, você precisará criar um novo pool de clusters com a versão 1.2 e o cluster 1.2.1

Problemas conhecidos

  • Limitação de identidade de carga de trabalho :
    • Há uma limitação de conhecida ao fazer a transição para identidade de carga de trabalho. Essa limitação ocorre devido à natureza sensível à permissão das operações FIC. Os usuários não podem executar a exclusão de um cluster excluindo o grupo de recursos. As solicitações de exclusão de cluster devem ser iniciadas pelo aplicativo/usuário/principal com permissões FIC/delete. Caso a exclusão de FIC falhe, a exclusão de cluster de alto nível também falhará.
    • suporte UAMI (Identidades Gerenciadas Atribuídas ao Usuário) – há um limite de 20 FICs por UAMI. Você só pode criar 20 Credenciais Federadas em uma identidade. No cluster HDInsight no AKS, FIC (Federated Identity Credential) e SA têm um mapeamento um-para-um, e apenas 20 SAs podem ser criados em relação a uma MSI. Se você quiser criar mais clusters, será necessário fornecer MSIs diferentes para superar a limitação.
    • No momento, não há suporte para a criação de credenciais de identidade federadas em identidades gerenciadas atribuídas pelo usuário criadas essas regiões

Versão do sistema operacional

  • Mariner OS 2.0

Versões de Carga de Trabalho

Carga Versão
Trino 440
Flink 1.17.0
Apache Spark 3.4

Versões Java e Scala com Suporte

Carga Java Scala
Trino Abrir o JDK 21.0.2 - 
Flink Open JDK 11.0.21 2.12.7
Fagulha OpenJDK 1.8.0_345 2.12.15

A visualização está disponível nas seguintes regiões .

Se você tiver mais dúvidas, entre em contato com o suporte do Azure, , ou consulte a página de opções de suporte, . Se você tiver comentários específicos do produto, escreva-nos em aka.ms/askhdinsight.

Data de lançamento: 20 de março de 2024

Esta versão se aplica aos seguintes

  • Versão do pool de cluster: 1.1
  • Versão do cluster: 1.1.1
  • Versão do AKS: 1.27

Novos recursos

cluster do modo de aplicativo Apache Flink

Os clusters de modo de aplicativo são projetados para dar suporte a recursos dedicados para trabalhos grandes e de execução longa. Quando você tiver tarefas de processamento de dados com uso intensivo de recursos ou extensas, poderá usar o cluster do modo de aplicativo . Esse modo permite que você aloque recursos dedicados para aplicativos Apache Flink específicos, garantindo que eles tenham o poder de computação e a memória necessários para lidar com cargas de trabalho grandes efetivamente.

Para obter mais informações, consulte cluster do Modo de Aplicativo do Apache Flink no HDInsight no AKS.

clusters privados para HDInsight no AKS

Com clusters privados e configurações de clusters de saída, agora você pode controlar o tráfego de entrada e saída nos pools e clusters do AKS usando o HDInsight.

  • Use o Firewall do Azure ou os NSGs (Grupos de Segurança de Rede) para controlar o tráfego de saída quando optar por usar o pool de clusters de saída com balanceador de carga.
  • Utilize o conjunto de clusters de saída com roteamento definido pelo usuário para controlar o tráfego de saída no nível da subnet.
  • Usar o recurso de cluster privado do AKS – para garantir que o plano de controle do AKS ou o servidor de API tenha endereços IP internos. O tráfego de rede entre o plano de controle do AKS/servidor de API e o HDInsight em pools de nós do AKS (clusters) permanece apenas na rede privada.
  • Evite criar IPs públicos para o cluster. Use o recurso de entrada privada em seus clusters.

Para mais informações, consulte Controlar o tráfego de rede do HDInsight em pools de cluster do AKS e cluster.

Atualização in-loco

Atualize seus clusters e pools de clusters com as atualizações de software mais recentes. Isso significa que você pode aproveitar os hotfixes do pacote de cluster mais recentes, atualizações de segurança e patches do AKS, sem recriar clusters. Para obter mais informações, consulte Atualizar o HDInsight em clusters do AKS e pools de cluster.

Importante

Para se beneficiar de todos esses recursos mais recentes, você precisará criar um novo cluster pool com a versão 1.1 e a versão do cluster 1.1.1.

Problemas conhecidos

  • limitação de identidade de carga de trabalho :
    • Há uma limitação de conhecida durante a transição para a identidade de carga de trabalho. Essa limitação ocorre devido à natureza sensível à permissão das operações FIC. Os usuários não podem executar a exclusão de um cluster excluindo o grupo de recursos. As solicitações de exclusão de cluster devem ser iniciadas pelo aplicativo/usuário/principal com permissões FIC/delete. Caso a exclusão de FIC falhe, a exclusão de cluster de alto nível também falhará.
    • suporte UAMI (Identidades Gerenciadas Atribuídas ao Usuário) – há um limite de 20 FICs por UAMI. Você só pode criar 20 Credenciais Federadas em uma identidade. No HDInsight no cluster do AKS, FIC (Federated Identity Credential) e SA têm um mapeamento um-para-um e apenas 20 SAs podem ser criados em relação a uma MSI. Se você quiser criar mais clusters, será necessário fornecer MSIs diferentes para superar a limitação.
    • No momento, não há suporte para a criação de credenciais de identidade federadas em identidades gerenciadas atribuídas pelo usuário criadas essas regiões

Versão do sistema operacional

  • Mariner OS 2.0

versões de tarefas

Carga Versão
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

Versões de Java e Scala com suporte

Carga Java Scala
Trino Abrir o JDK 17.0.7 - 
Flink Open JDK 11.0.21 2.12.7
Fagulha OpenJDK 1.8.0_345 2.12.15

A visualização está disponível nas seguintes regiões: .

Se você tiver mais dúvidas, entre em contato com o Suporte do Azure ou consulte a página de opções de Suporte . Se você tiver comentários específicos sobre o produto, envie-nos uma mensagem por aka.ms/askhdinsight.

Data de lançamento: 05 de fevereiro de 2024

Esta versão se aplica aos seguintes

  • Versão do Pool de Cluster: 1.1
  • Versão do cluster: 1.1.0
  • Versão do AKS: 1.27

Dica

Para criar um novo HDInsight no cluster do AKS na versão 1.1.0, você precisará criar um novo pool de clusters com a versão 1.1

Novos recursos

  • Identidade de Trabalho é suportado por padrão para pools de cluster na versão 1.1
  • Os clusters Trino dão suporte ao Trino 426 da versão 1.1.0
    • O HDInsight no AKS agora inclui todas as alterações até o Trino 426 com várias melhorias significativas feitas pela comunidade. Saiba mais sobre Trino aqui.
  • A forma do cluster Trino agora oferece suporte ao dimensionamento automático baseado em carga, a partir da versão 1.1.0.
    • O Trino no HDInsight no AKS agora dá suporte ao dimensionamento automático baseado em carga, tornando o cluster mais econômico. Saiba mais sobre isso aqui.
  • A forma do cluster Trino adiciona configuração simplificada de metastore de hive e catálogos
    • O HDInsight no AKS simplifica a configuração de metastore do Hive externo para o cluster Trino. Agora você pode especificar metastore externo em config.properties e habilitá-lo para cada catálogo com um único parâmetro. Saiba mais sobre aprimoramentos aqui.
  • A forma do cluster Trino adiciona conector sql fragmentado
  • Os clusters Flink agora dão suporte ao Flink 1.17.0 do HDInsight na versão do AKS 1.1.0
    • O HDInsight no AKS agora dá suporte à versão Flink 1.17.0, com melhorias significativas em pontos de verificação, gráfico de chama em nível de subtarefa e alinhamento de marcas d'água. Saiba mais sobre a versão do Flink 1.17 aqui
  • O Gateway SQL Flink agora é compatível do HDInsight na versão 1.1.0 do AKS com clusters de sessão Flink.

Correções de erros & CVEs

  • Esta versão inclui várias correções CVE críticas em toda a plataforma e componentes de software livre.
  • A forma do cluster Trino exclui as tabelas do sistema de cache automaticamente
  • A forma do cluster Trino melhora a manipulação de fusos horários de data e hora no Power BI.

Problemas conhecidos

  • limitação de identidade da carga de trabalho :
    • Há uma limitação de conhecida na transição para a identidade de carga de trabalho. Isso ocorre devido à natureza sensível à permissão das operações FIC. Os usuários não podem executar a exclusão de um cluster excluindo o grupo de recursos. As solicitações de exclusão de cluster devem ser iniciadas pelo aplicativo/usuário/identidade com permissões FIC/delete. Caso a exclusão de FIC falhe, a exclusão de cluster de alto nível também falhará.

Novas regiões

  • Ásia Oriental

Versão do sistema operacional

  • Mariner OS 2.0

Versões de cargas de trabalho

Carga Versão
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

Versões Java e Scala com Suporte

Carga Java Scala
Trino Abrir o JDK 17.0.7 - 
Flink OpenJDK 11.0.21 2.12.7
Fagulha OpenJDK 1.8.0_345 2.12.15

A visualização está disponível nas seguintes regiões: .

Se você tiver mais dúvidas, entre em contato com Suporte do Azure ou consulte a página de opções de Suporte . Se você tiver comentários específicos do produto, escreva-nos em aka.ms/askhdinsight.

Próximas etapas

Data de lançamento: 13 de dezembro de 2023

Esta versão de correção rápida se aplica aos seguintes

  • Versão do pool de cluster: 1.0
  • Versão do cluster: 1.0.6

Problemas conhecidos

  • Suporte à Interface do Usuário para Locatários Seguros

    • Essa versão resolve um problema em que as URLs da web do componente de software livre para HDInsight em clusters do AKS estavam inacessíveis. Para aplicar essa correção, entre em contato com o suporte do Azure para habilitar isso em sua assinatura/locatário.

    Como aplicar o hotfix

    • Recriar seu cluster
      • Para aplicar esse hotfix, os usuários existentes são obrigados a recriar seu cluster em um pool de clusters existente.

Versão do sistema operacional

  • Mariner OS 2.0

Versões de Trabalho

Carga Versão
Trino 410
Flink 1.16
Apache Spark 3.3.1

Versões Java e Scala com suporte

Carga Java Scala
Trino Abrir o JDK 17.0.7 - 
Flink OpenJDK 11.0.21 2.12.7
Fagulha OpenJDK 1.8.0_345 2.12.15

A visualização está disponível nas seguintes regiões .

Se você tiver mais dúvidas, entre em contato com Suporte do Azure ou consulte a página de opções de Suporte.