O que há de novo no HDInsight no AKS? (Pré-visualização)
Nota
Vamos desativar o Azure HDInsight no AKS em 31 de janeiro de 2025. Antes de 31 de janeiro de 2025, você precisará migrar suas cargas de trabalho para o Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho. Os clusters restantes na sua subscrição serão interrompidos e removidos do anfitrião.
Apenas o apoio básico estará disponível até à data da reforma.
Importante
Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponibilizadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Informações de visualização do Azure HDInsight no AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade do Azure HDInsight.
No HDInsight no AKS, todo o gerenciamento e operações de cluster têm suporte nativo para gerenciamento de serviços no portal do Azure para clusters individuais.
No HDInsight no AKS, dois novos conceitos são introduzidos:
- Os Pools de Clusters são usados para agrupar e gerenciar clusters.
- Os clusters são usados para cálculos de código aberto, eles são hospedados dentro de um pool de clusters.
Pools de clusters
O HDInsight no AKS é executado no Serviço Kubernetes do Azure (AKS). O recurso de nível superior é o Pool de Clusters e gerencia todos os clusters em execução no mesmo cluster AKS. Quando você cria um Pool de Clusters, um cluster AKS subjacente é criado ao mesmo tempo para hospedar todos os clusters no pool. Os pools de clusters são um agrupamento lógico de clusters, que ajuda na criação de interoperabilidade robusta entre vários tipos de cluster e permite que as empresas tenham os clusters na mesma rede virtual. Os pools de clusters fornecem acesso rápido e econômico a todos os tipos de cluster criados sob demanda e em escala. Um pool de clusters corresponde a um cluster na infraestrutura do AKS.
Clusters
Os clusters são cargas de trabalho de computação de código aberto individuais, como Apache Spark, Apache Flink e Trino, que podem ser criadas rapidamente em poucos minutos com configurações predefinidas e poucos cliques. Embora seja executado no mesmo pool de clusters, cada cluster pode ter suas próprias configurações, como tipo de cluster, versão, tamanho da VM do nó, contagem de nós. Os clusters são executados em recursos de computação separados com seu próprio DNS e pontos de extremidade.
Funcionalidades atualmente em pré-visualização
A lista de tabelas a seguir mostra os recursos do HDInsight no AKS que estão atualmente em visualização. Os recursos de visualização são classificados em ordem alfabética.
| Área | Funcionalidades |
|---|---|
| Fundamentos | Criar pool e clusters usando portal, suporte a shell seguro da Web (ssh), capacidade de escolher o número de nós de trabalho durante a criação do cluster |
| Armazenamento | Suporte de armazenamento ADLS Gen2 |
| Metastore | Suporte externo Metastore para Trino, Spark e Flink, integração com HDInsight |
| Segurança | Suporte para ARM RBAC, Suporte para autenticação baseada em MSI, Opção para fornecer acesso de cluster a outros usuários |
| Início de sessão e Monitorização | Agregação de logs na análise de log do Azure, para logs de servidor, métricas de Cluster e Serviço via Managed Prometheus e Grafana, métricas de servidor de suporte no monitor do Azure, página Status do Serviço para monitorar a integridade do Serviço |
| Dimensionar automaticamente | Dimensionamento automático baseado em carga e dimensionamento automático baseado em programação |
| Personalizar e configurar clusters | Suporte para ações de script durante a criação do cluster, Suporte para gerenciamento de biblioteca, Definições de configuração do serviço após a criação do cluster |
| Trino | Suporte para catálogos Trino, Suporte CLI Trino, Suporte DBeaver para envio de consultas, Adicionar ou remover plugins e conectores, Suporte para registrar eventos de consulta, Suporte para estatísticas de consulta de varredura para qualquer conector no painel Trino, Suporte para painel Trino para monitorar consultas, Cache de consulta, Integração com Power BI, Integração com Apache Superset, Redash, Suporte para vários conectores |
| Flink | Suporte para UI da Web nativa Flink, suporte Flink com HMS para DStream, Enviar trabalhos para o cluster usando a API REST e o portal do Azure, Executar programas empacotados como arquivos JAR por meio da CLI Flink, Suporte para Savepoints persistentes, Suporte para atualizar as opções de configuração quando o trabalho estiver em execução, Conectando-se a vários serviços do Azure: Azure Cosmos DB, Azure Databricks, Azure Data Explorer, Azure Event Hubs, Azure IoT Hub, Azure Pipelines, Azure Data Factory Workflow Orchestration Manager, HDInsight Kafka, Enviar trabalhos para o cluster usando Flink CLI e CDC com Flink |
| Spark | Jupyter Notebook, Suporte para Delta lake 2.0, Suporte Zeppelin, Suporte ATS, Suporte para interface de servidor Yarn History, Envio de trabalhos usando SSH, Envio de trabalhos usando SDK e Notebook de Machine Learning |
Roteiro de Funcionalidades
| Caraterística | Cronograma de lançamento estimado | Status |
|---|---|---|
| Autoscale - Baseado em carga - Trino | 1º trimestre de 2024 | Concluído |
| Dimensionamento automático baseado em carga com reconhecimento de embaralhamento para o Spark | 2º trimestre de 2024 | Em Curso |
| Atualização in-loco | 2º trimestre de 2024 | Concluído |
| Suporte a instâncias reservadas | 2º trimestre de 2024 | Em Curso |
| Autenticação baseada em MSI para Metastore (SQL) | 1º trimestre de 2024 | Em Curso |
| Faísca 3.4 | 2º trimestre de 2024 | Em Curso |
| Trino 426 | 1º trimestre de 2024 | Concluído |
| Ranger para RBAC | 2º trimestre de 2024 | Em Curso |
| Suporte do modo de aplicativo para Flink | 1º trimestre de 2024 | Concluído |
| Flink 1,17 | 1º trimestre de 2024 | Concluído |
| Suporte Spark ACID | 1º trimestre de 2024 | Em Curso |
| SKUs configuráveis para Headnode, SSH | 2º trimestre de 2024 | Em Curso |
| Suporte ao Flink SQL Gateway | 1º trimestre de 2024 | Concluído |
| Clusters privados para HDInsight no AKS | 1º trimestre de 2024 | Concluído |
| Suporte Ranger para Spark SQL | 4º trimestre de 2024 | Em Curso |
| ACLs Ranger na camada de armazenamento | 4º trimestre de 2024 | Em Curso |
| Suporte para um lago como contêiner primário | 2º trimestre de 2024 | Em Curso |