O que há de novo no HDInsight no AKS? (Pré-visualização)
Importante
O Azure HDInsight no AKS foi desativado em 31 de janeiro de 2025. Saiba mais sobre com este anúncio.
Você precisa migrar suas cargas de trabalho para Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.
Importante
Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponibilizadas para disponibilização geral. Para obter informações sobre essa visualização específica, consulte Azure HDInsight no AKS informações de visualização. Para perguntas ou sugestões de funcionalidades, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para mais atualizações na Comunidade do Azure HDInsight .
No HDInsight no AKS, toda a gestão e operações de clusters têm suporte nativo para gestão de serviços no portal do Azure para clusters individuais.
No HDInsight no AKS, dois novos conceitos são introduzidos:
- Pools de Clusters são usados para agrupar e gerir clusters.
- os clusters são usados para computação de código aberto, eles são hospedados em um pool de clusters.
Pools de clusters
O HDInsight no AKS é executado no Serviço Kubernetes do Azure (AKS). O recurso de nível superior é o Pool de Clusters e gerencia todos os clusters em execução no mesmo cluster AKS. Quando você cria um Pool de Clusters, um cluster AKS subjacente é criado ao mesmo tempo para hospedar todos os clusters no pool. Os pools de clusters são um agrupamento lógico de clusters, que ajuda na criação de interoperabilidade robusta entre vários tipos de cluster e permite que as empresas tenham os clusters na mesma rede virtual. Os pools de clusters fornecem acesso rápido e econômico a todos os tipos de cluster criados sob demanda e em escala. Um pool de clusters corresponde a um cluster na infraestrutura do AKS.
Aglomerados
Os clusters são cargas de trabalho de computação de código aberto individuais, como Apache Spark, Apache Flink e Trino, que podem ser criadas rapidamente em poucos minutos com configurações predefinidas e poucos cliques. Embora seja executado no mesmo pool de clusters, cada cluster pode ter suas próprias configurações, como tipo de cluster, versão, tamanho da VM do nó, contagem de nós. Os clusters são executados em recursos de computação separados com seu próprio DNS e pontos de extremidade.
Funcionalidades atualmente em pré-visualização
A seguinte lista de tabelas mostra as características do HDInsight no AKS que estão atualmente em versão de pré-visualização. Os recursos de visualização são classificados em ordem alfabética.
| Área | Caraterísticas |
|---|---|
| Fundamentos | Criar pool e clusters usando portal, suporte a shell seguro da Web (ssh), capacidade de escolher o número de nós de trabalho durante a criação do cluster |
| Armazenamento | Suporte ao ADLS Gen2 Storage |
| Metastore | Suporte de Metastore externo para Trino, Spark e Flink, Integrar com HDInsight |
| Segurança | Suporte para RBAC do ARM, suporte para autenticação baseada em MSI, opção de fornecer acesso ao cluster a outros utilizadores |
| Registo e monitorização | Agregação de logs no de análise de log do Azure, para logs de servidor, métricas de Cluster e Serviço por meio Managed Prometheus e Grafana, Métricas de servidor de suporte no de monitor do Azure do, página Status do Serviço para monitorar o de integridade do Serviço |
| Dimensionamento automático | Dimensionamento automático baseado em carga e Dimensionamento automático baseado em programação |
| Personalizar e configurar clusters | Suporte para ações de script durante a criação do cluster, Suporte para gerenciamento de bibliotecas , configuração de serviço após a criação do cluster |
| Trino | Suporte para catálogos Trino , Suporte Trino CLI, Suporte do DBeaver para envio de consultas, Adicionar ou remover plugins e conectores , Suporte para registro de eventos de consulta , Suporte para verificar estatísticas de consulta para qualquer conector no painel Trino, Suporte para painel Trino para monitorar consultas, Armazenamento em cache de consultas, Integração com Power BI, Integração com Apache Superset , Redash, Suporte para vários conectores |
| Flink | Suporte para a interface do utilizador web nativa do Flink e suporte ao Flink com HMS para DStream, Enviar trabalhos para o cluster usando API REST e o portal do Azure, Executar programas empacotados como arquivos JAR por meio da CLI Flink , Suporte para Savepoints persistentes, Suporte para a atualização das opções de configuração enquanto o trabalho está em execução, Conexão com vários serviços do Azure: Azure Cosmos DB, Azure Databricks, Azure Data Explorer, Azure Event Hubs, Azure IoT Hub, Azure Pipelines, Azure Data Factory Workflow Orchestration Manager, HDInsight Kafka, Enviar trabalhos para o cluster usando CLI Flink e CDC com Flink |
| Faísca | Jupyter Notebook, Suporte para Delta lake 2.0, Suporte Zeppelin, Suporte ATS, Suporte para interface de servidor Yarn History, Envio de trabalho usando SSH, Envio de trabalho usando SDK e Notebook de aprendizado de máquina |
Roteiro de Funcionalidades
| Funcionalidade | Cronograma de lançamento estimado | Situação |
|---|---|---|
| Autoscale - Baseado em carga - Trino | 1º trimestre de 2024 | Concluído |
| Dimensionamento automático baseado em carga com reconhecimento de embaralhamento para o Spark | 2º trimestre de 2024 | Em curso |
| Atualização no Local | 2º trimestre de 2024 | Concluída |
| Suporte a instâncias reservadas | 2º trimestre de 2024 | Em curso |
| Autenticação baseada em MSI para Metastore (SQL) | 1º trimestre de 2024 | Em curso |
| Spark 3.4 | 2º trimestre de 2024 | Em curso |
| Trino 426 | 1º trimestre de 2024 | Concluído |
| Ranger para RBAC | 2º trimestre de 2024 | Em curso |
| Suporte do modo App para Flink | 1º trimestre de 2024 | Concluído |
| Flink 1,17 | 1º trimestre de 2024 | Concluído |
| Suporte Spark ACID | 1º trimestre de 2024 | Em curso |
| SKUs configuráveis para Headnode, SSH | 2º trimestre de 2024 | Em curso |
| Suporte ao Flink SQL Gateway | 1º trimestre de 2024 | Concluído |
| Clusters privados para HDInsight no AKS | 1º trimestre de 2024 | Concluído |
| Suporte Ranger para Spark SQL | 4º trimestre de 2024 | Em curso |
| ACLs Ranger na camada de armazenamento | 4º trimestre de 2024 | Em curso |
| Suporte para um lago como contêiner primário | 2º trimestre de 2024 | Em curso |