Notas de versão arquivadas do Azure HDInsight no AKS

Observação

Desativaremos o Microsoft Azure HDInsight no AKS em 31 de janeiro de 2025. Para evitar o encerramento abrupto das suas cargas de trabalho, você precisará migrá-las para o Microsoft Fabric ou para um produto equivalente do Azure antes de 31 de janeiro de 2025. Os clusters restantes em sua assinatura serão interrompidos e removidos do host.

Somente o suporte básico estará disponível até a data de desativação.

Importante

Esse recurso está atualmente na visualização. Os Termos de uso complementares para versões prévias do Microsoft Azure incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, confira Informações sobre a versão prévia do Azure HDInsight no AKS. Caso tenha perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para ver mais atualizações sobre a Comunidade do Azure HDInsight.

O Microsoft Azure HDInsight no AKS é um dos serviços mais populares entre os clientes empresariais para análise de software livre no Azure. Se você quiser assinar as notas de versão, observe as versões neste repositório GitHub.

Data de lançamento: 05 de agosto de 2024

Essa versão se aplica ao seguinte

• Versão do pool de clusters: 1.2
• Versão do cluster: 1.2.1
• Versão do AKS: 1.27

Novos recursos

Autenticação SQL baseada em MSI Os usuários agora podem autenticar o metastore externo do DB do SQL do Azure com MSI em vez de autenticação de senha da ID de usuário. Esse recurso ajuda a proteger ainda mais a conexão de cluster com o metastore.

SKUs de VM configuráveis para nó de cabeçalho, nó SSH Essa funcionalidade permite que os usuários escolham SKUs específicas para nós de cabeçalho, nós de trabalho e nós SSH, oferecendo a flexibilidade para selecionar de acordo com o caso de uso e o potencial para reduzir o custo total de propriedade (TCO).

Vários MSI no cluster Os usuários podem configurar vários MSI para operações de administradores de cluster e para acesso a recursos relacionados ao trabalho. Esse recurso permite que os usuários demarquem e controlem o acesso ao cluster e aos dados na conta de armazenamento. Por exemplo, um MSI para acesso a dados na conta de armazenamento e MSI dedicado para operações de cluster.

Atualizado

Ação de Script Ação de Script agora pode ser adicionado com a permissão de usuário do Sudo. Agora, os usuários podem instalar várias dependências, incluindo jars personalizados para personalizar os clusters conforme necessário.

Gerenciamento de Biblioteca O recurso de atalho do repositório Maven adicionado ao Gerenciamento de Biblioteca nesta versão. Agora, o usuário pode instalar dependências do Maven diretamente de repositórios de código aberto.

Spark 3.4 A atualização do Spark 3.4 traz uma variedade de novos recursos e inclui

• Melhorias da API
• Melhorias de streaming estruturado
• Melhor usabilidade e experiência do desenvolvedor

Importante

Para se beneficiar de todos esses recursos mais recentes, você precisará criar um novo pool de clusters com 1.2 e a versão de cluster 1.2.1

Problemas conhecidos

• Limitação de identidade da carga de trabalho:
  • Há uma limitação conhecida ao transicionar para a identidade da carga de trabalho. Essa limitação ocorre devido à natureza sensível à permissão das operações FIC. Os usuários não podem executar a exclusão de um cluster excluindo o grupo de recursos. As solicitações de exclusão de cluster devem ser disparadas pelo aplicativo/usuário/entidade de segurança com permissões FIC/delete. Se a exclusão da FIC falhar, a exclusão de cluster de alto nível também falhará.
  • Suporte a UAMI (Identidades Gerenciadas Atribuídas ao Usuário) – há um limite de 20 FICs por UAMI. Você só pode criar 20 Credenciais Federadas em uma identidade. No HDInsight no cluster do AKS, a FIC (Federated Identity Credential) e o SA têm um mapeamento um-para-um e apenas 20 SAs podem ser criados em relação a um MSI. Se você quiser criar mais clusters, será necessário fornecer MSIs diferentes para superar a limitação.
  • Atualmente, não há suporte para a criação de credenciais de identidade federadas em identidades gerenciadas atribuídas pelo usuário criadas nessas regiões

Versão do sistema operacional

• SO Mariner 2.0

Versões de carga de trabalho

Carga de trabalho	Versão
Trino	440
Flink	1.17.0
Apache Spark	3.4

Versões do Java e do Scala com suporte

Carga de trabalho	Java	Scala
Trino	Abrir o JDK 21.0.2	-
Flink	Open JDK 11.0.21	2.12.7
Spark	Open JDK 1.8.0_345	2.12.15

Essa versão prévia pública está disponível nas seguintes regiões.

Se você tiver mais dúvidas, entre em contato com o Suporte do Azure ou consulte a página de Opções de suporte. Se você tiver comentários específicos do produto, escreva-nos em aka.ms/askhdinsight.

Data de lançamento: 20 de março de 2024

Essa versão se aplica ao seguinte

• Versão do Pool de Clusters: 1.1
• Versão do cluster: 1.1.1
• Versão do AKS: 1.27

Novos recursos

Cluster do Modo de Aplicativo do Apache Flink

Os clusters do modo de aplicativo são projetados para dar suporte a recursos dedicados em trabalhos grandes e de execução longa. Quando você tem tarefas de processamento de dados extensas ou com uso intensivo de recursos, pode usar o Cluster do Modo de Aplicativo. Este modo permite alocar recursos dedicados para aplicativos específicos do Apache Flink, garantindo que eles tenham o poder de computação e memória necessários para lidar com grandes cargas de trabalho de maneira eficaz.

Para obter mais informações, consulte Cluster do Modo de Aplicativo do Apache Flink no HDInsight no AKS.

Clusters privados para o HDInsight no AKS

Com clusters privados e configurações de cluster de saída, você pode controlar o tráfego de entrada e saída do HDInsight em clusters e pools de clusters do AKS.

• Use o Firewall do Azure ou os NSGs (Grupos de Segurança de Rede) para controlar o tráfego de saída quando optar por usar o pool de clusters de saída com o balanceador de carga.
• Use o pool de clusters de saída com roteamento definido pelo usuário para controlar o tráfego de saída no nível da sub-rede.
• Use o recurso de cluster privado do AKS – para garantir que o painel de controle do AKS ou o servidor de API tenham endereços IP internos. O tráfego de rede entre o painel de controle do AKS/servidor de API e o HDInsight em pools de nós do AKS (clusters) permanece apenas na rede privada.
• Evite criar IPs públicos para o cluster. Use o recurso de entrada privada em seus clusters.

Para obter mais informações, consulte Controle o tráfego de rede do HDInsight em pools e cluster do Cluster do AKS.

Atualização in-loco

Atualize seus clusters e pools de clusters com as atualizações de software mais recentes. Isso significa que você pode aproveitar os hotfixes mais recentes do pacote de clusters, as atualizações de segurança e os patches do AKS, sem recriar clusters. Para obter mais informações, consulte Atualizar seu HDInsight em clusters do AKS e pools de clusters.

Importante

Para se beneficiar de todos esses recursos mais recentes, você precisará criar um novo pool de clusters com a versão 1.1 e o cluster 1.1.1.

Problemas conhecidos

• Limitação de identidade da carga de trabalho:
  • Há uma limitação conhecida ao transicionar para a identidade da carga de trabalho. Essa limitação ocorre devido à natureza sensível à permissão das operações FIC. Os usuários não podem executar a exclusão de um cluster excluindo o grupo de recursos. As solicitações de exclusão de cluster devem ser disparadas pelo aplicativo/usuário/entidade de segurança com permissões FIC/delete. Se a exclusão da FIC falhar, a exclusão de cluster de alto nível também falhará.
  • Suporte a UAMI (Identidades Gerenciadas Atribuídas ao Usuário) – há um limite de 20 FICs por UAMI. Você só pode criar 20 Credenciais Federadas em uma identidade. No HDInsight no cluster do AKS, a FIC (Federated Identity Credential) e o SA têm um mapeamento um-para-um e apenas 20 SAs podem ser criados em relação a um MSI. Se você quiser criar mais clusters, será necessário fornecer MSIs diferentes para superar a limitação.
  • Atualmente, não há suporte para a criação de credenciais de identidade federadas em identidades gerenciadas atribuídas pelo usuário criadas nessas regiões

Versão do sistema operacional

• SO Mariner 2.0

Versões de carga de trabalho

Carga de trabalho	Versão
Trino	426
Flink	1.17.0
Apache Spark	3.3.1

Versões do Java e do Scala com suporte

Carga de trabalho	Java	Scala
Trino	Open JDK 17.0.7	-
Flink	Open JDK 11.0.21	2.12.7
Spark	Open JDK 1.8.0_345	2.12.15

Essa versão prévia pública está disponível nas seguintes regiões.

Se você tiver mais dúvidas, entre em contato com o Suporte do Azure ou consulte a página de Opções de suporte. Se você tiver comentários específicos do produto, escreva-nos em aka.ms/askhdinsight.

Data de lançamento: 05 de fevereiro de 2024

Essa versão se aplica ao seguinte

• Versão do Pool de Clusters: 1.1
• Versão do cluster: 1.1.0
• Versão do AKS: 1.27

Dica

Para criar um novo HDInsight no cluster do AKS na versão 1.1.0, você precisará criar um novo pool de clusters com a versão 1.1

Novos recursos

• A Identidade da Carga de Trabalho tem suporte por padrão para pools de cluster na 1.1
• Os clusters Trino dão suporte ao Trino 426 da versão 1.1.0
  • O HDInsight no AKS já inclui todas as alterações até o Trino 426, com vários aprimoramentos notáveis fornecidos pela comunidade. Leia mais sobre o Trino aqui.
• A forma do cluster Trino agora dá suporte ao dimensionamento automático baseado em carga da versão 1.1.0
  • O Trino no HDInsight no AKS agora dá suporte ao dimensionamento automático baseado em carga, tornando o cluster mais econômico. Saiba mais sobre isso aqui.
• A forma do cluster Trino adiciona metastore do Hive simplificado e configuração de catálogos
  • O HDInsight no AKS simplifica a configuração de metastore do Hive externo no cluster do Trino. Agora você pode especificar o metastore externo em config.properties e habilitá-lo para cada catálogo com um único parâmetro. Saiba mais sobre aprimoramentos aqui.
• A forma do cluster Trino adiciona o conector sql fragmentado
• Os clusters Flink agora dão suporte ao Flink 1.17.0 do HDInsight na versão do AKS 1.1.0
  • O HDInsight no AKS agora dá suporte à versão Flink 1.17.0, com melhorias significativas em pontos de verificação, grafo de chama de nível de subtarefa, alinhamentos de marca d'água. Saiba mais sobre a versão do Flink 1.17 aqui
• O Gateway de SQL do Flink agora tem suporte do HDInsight na versão do AKS 1.1.0 com clusters de sessão Flink

Correções de bugs e CVEs

• Esta versão inclui várias correções de CVE críticas em toda a plataforma e componentes de software livre.
• A forma do cluster Trino exclui as tabelas do sistema de cache automaticamente
• A forma do cluster Trino melhora a manipulação de fusos horários do carimbo de data/hora do Power BI

Problemas conhecidos

• Limitação de identidade da carga de trabalho:
  • Há uma limitação conhecida ao transicionar para a identidade da carga de trabalho. Isso ocorre devido à natureza sensível à permissão das operações FIC. Os usuários não podem executar a exclusão de um cluster excluindo o grupo de recursos. As solicitações de exclusão de cluster devem ser disparadas pelo aplicativo/usuário/entidade de segurança com permissões FIC/delete. Caso a exclusão da FIC falhe, a exclusão de cluster de alto nível também falhará.

Novas regiões

• Leste da Ásia

Versão do sistema operacional

• SO Mariner 2.0

Versões de carga de trabalho

Carga de trabalho	Versão
Trino	426
Flink	1.17.0
Apache Spark	3.3.1

Versões do Java e do Scala com suporte

Carga de trabalho	Java	Scala
Trino	Open JDK 17.0.7	-
Flink	Open JDK 11.0.21	2.12.7
Spark	Open JDK 1.8.0_345	2.12.15

Essa versão prévia pública está disponível nas seguintes regiões.

Se você tiver mais dúvidas, entre em contato com o Suporte do Azure ou consulte a página de Opções de suporte. Se você tiver comentários específicos do produto, escreva-nos em aka.ms/askhdinsight.

Próximas etapas

• HDInsight no AKS: Perguntas frequentes
• Criar um cluster e um pool de clusters

Data de lançamento: 13 de dezembro de 2023

Esta versão de hotfix se aplica ao seguinte

• Versão do Pool de Clusters: 1.0
• Versão do Cluster: 1.0.6

Problemas conhecidos

• Suporte à interface de usuário de locatários seguros

  • Esta versão soluciona um problema em que as URLs da Web de componentes de código aberto para o HDInsight em clusters AKS que estavam inacessíveis. Para aplicar essa correção, entre em contato com o Suporte do Azure para habilitar isso na sua assinatura/locatário.

  Como aplicar o Hotfix

  • Recriar seu cluster
    • Para aplicar esse hotfix, os usuários existentes devem recriar seu cluster em um pool de cluster existente.

Versão do sistema operacional

• SO Mariner 2.0

Versões de carga de trabalho

Carga de trabalho	Versão
Trino	410
Flink	1.16
Apache Spark	3.3.1

Versões do Java e do Scala com suporte

Carga de trabalho	Java	Scala
Trino	Open JDK 17.0.7	-
Flink	Open JDK 11.0.21	2.12.7
Spark	Open JDK 1.8.0_345	2.12.15

Essa versão prévia pública está disponível nas seguintes regiões.

Se você tiver mais dúvidas, entre em contato com o Suporte do Azure ou consulte a página de Opções de suporte.