Quais são as novidades no HDInsight sobre o AKS? (Versão prévia)
Importante
O Azure HDInsight no AKS se aposentou em 31 de janeiro de 2025. Saiba mais com este comunicado.
Você precisa migrar suas cargas de trabalho para microsoft fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.
Importante
Esse recurso está atualmente em versão prévia. Os termos de uso complementares para o Microsoft Azure Previews incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, consulte Azure HDInsight em informações de visualização do AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para mais atualizações na Comunidade do Azure HDInsight .
Em HDInsight no AKS, todo o gerenciamento e as operações de clusters têm suporte nativo para de gerenciamento de serviços no portal do Azure para clusters individuais.
No HDInsight no AKS, dois novos conceitos são introduzidos:
- Conjuntos de clusters são usados para o agrupamento e gerenciamento de clusters.
- clusters são usados para computação de software livre, eles são hospedados em um pool de clusters.
Grupos de Clusters
O HDInsight no AKS é executado no AKS (Serviço de Kubernetes do Azure). O recurso de nível superior é o Pool de Clusters e gerencia todos os clusters em execução no mesmo cluster do AKS. Quando você cria um Cluster Pool, um cluster AKS subjacente é criado simultaneamente para hospedar todos os clusters no pool. Os pools de clusters são um agrupamento lógico de clusters, que ajuda a criar uma interoperabilidade robusta em vários tipos de cluster e permite que as empresas tenham os clusters na mesma rede virtual. Os pools de cluster fornecem acesso rápido e econômico a todos os tipos de cluster criados sob demanda e em escala. Um pool de clusters corresponde a um cluster na infraestrutura do AKS.
Agrupamentos
Os clusters são cargas de trabalho de computação de software livre individuais, como Apache Spark, Apache Flink e Trino, que podem ser criados rapidamente em poucos minutos com configurações predefinidas e poucos cliques. Embora rodem no mesmo pool de clusters, cada cluster pode ter suas próprias configurações, como tipo de cluster, versão, tamanho da VM dos nós, contagem de nós. Os clusters estão em execução em recursos de computação separados com seu próprio DNS e pontos de extremidade.
Recursos atualmente em versão prévia
A lista de tabelas a seguir mostra os recursos do HDInsight no AKS que estão atualmente em versão prévia. Os recursos de visualização são classificados em ordem alfabética.
| Área | Características |
|---|---|
| Fundamentos | Criar pools e clusters usando o portal, suporte a SSH seguro, e capacidade de escolher o número de nós de trabalho durante a criação do cluster |
| Armazenamento | Armazenamento do ADLS Gen2 suporte |
| Metastore | Suporte externo do Metastore para Trino, Spark e Flink, Integrar com HDInsight |
| Segurança | Suporte para RBAC do ARM, suporte para autenticação baseada em MSI, opção para fornecer acesso ao cluster a outros usuários. |
| Registro em log e monitoramento | Agregação de logs na Análise de Log no Azure, para logs de servidor, métricas de Cluster e Serviço por meio do Prometheus Gerenciado e Grafana, suporte a métricas de servidor no Azure Monitor, página de Status do Serviço para monitorar a saúde do serviço . |
| Dimensionamento automático | Dimensionamento Automático baseado em carga, e Dimensionamento Automático baseado em agendamento |
| Personalizar e configurar clusters | Suporte para ações de script durante a criação do cluster, suporte para gerenciamento de biblioteca , configurações de serviço após a criação do cluster |
| Trino | Suporte para catálogos Trino, de suporte da CLI do Trino, suporte DBeaver para envio de consulta, Adicionar ou remover plug-ins e conectores, suporte para eventos de consulta de log, suporte para verificação de estatísticas de consulta para qualquer do Conector no painel do Trino, suporte para de painel do Trino para monitorar consultas, de cache de consulta, integração com o Power BI, integração com Apache Superset, Redash, Suporte para vários conectores |
| Flink | Suporte para interface do usuário web nativa do Flink, suporte ao Flink com HMS para DStream, enviar jobs para o cluster usando API REST e portal do Azure, executar programas empacotados como arquivos JAR via CLI do Flink , suporte para pontos de salvamento persistentes, suporte para atualizar as opções de configuração quando o job estiver em execução, conectando-se a vários serviços do Azure: Azure Cosmos DB , Azure Databricks , Azure Data Explorer , Azure Event Hubs , Azure IoT Hub , Azure Pipelines , Gerenciador de Orquestração de Fluxo de Trabalho do Azure Data Factory , Kafka do HDInsight , enviar jobs para o cluster usando CLI do Flink e CDC com Flink |
| Fagulha | pt-BR: Jupyter Notebook, suporte para Delta lake 2.0, suporte ao Zeppelin, suporte para ATS, suporte para interface do servidor de histórico do Yarn, envio de trabalhos usando SSH, envio de trabalhos usando SDK e Machine Learning Notebook |
Roteiro de Funcionalidades Planejadas
| Característica | Cronograma de lançamento estimado | Estado |
|---|---|---|
| Dimensionamento Automático – Baseado em Carga – Trino | 1º trimestre de 2024 | Concluído |
| Autoescala ciente de embaralhamento baseada em carga para Spark | 2º trimestre de 2024 | Em andamento |
| de atualização in-loco | 2º trimestre de 2024 | Concluído |
| Suporte à instância reservada | 2º trimestre de 2024 | Em andamento |
| Autenticação baseada em MSI para Metastore (SQL) | 1º trimestre de 2024 | Em andamento |
| Spark 3.4 | 2º trimestre de 2024 | Em andamento |
| Trino 426 | 1º trimestre de 2024 | Concluído |
| Ranger para RBAC | 2º trimestre de 2024 | Em andamento |
| suporte ao modo de aplicativo para o Flink | 1º trimestre de 2024 | Concluído |
| Flink 1.17 | 1º trimestre de 2024 | Concluído |
| Suporte ao Spark ACID | 1º trimestre de 2024 | Em andamento |
| SKUs configuráveis para Headnode, SSH | 2º trimestre de 2024 | Em andamento |
| Suporte ao Gateway SQL do Flink | 1º trimestre de 2024 | Concluído |
| clusters privados para HDInsight no AKS | 1º trimestre de 2024 | Concluído |
| Suporte do Ranger para Spark SQL | 4º trimestre de 2024 | Em andamento |
| ACLs do Ranger na camada de armazenamento | 4º trimestre de 2024 | Em andamento |
| Suporte para o One Lake como contêiner primário | 2º trimestre de 2024 | Em andamento |