O que é o HDInsight no AKS? (Pré-visualização)

Importante

O Azure HDInsight no AKS foi desativado em 31 de janeiro de 2025. Saiba mais através deste anúncio.

Você precisa migrar suas cargas de trabalho para Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.

Importante

Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam às funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponíveis para utilização geral. Para obter informações sobre esta visualização específica, consulte informações de pré-visualização do Azure HDInsight no AKS. Para perguntas ou sugestões de funcionalidades, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para mais atualizações na Comunidade do Azure HDInsight em .

O HDInsight no AKS é uma plataforma como serviço (PaaS) moderna, confiável, segura e totalmente gerenciada que é executada no Serviço Kubernetes do Azure (AKS). O HDInsight no AKS permite implantar cargas de trabalho populares do Open-Source Analytics, como Apache Spark™, Apache Flink®️ e Trino, sem a sobrecarga de gerenciar e monitorar contêineres.

Você pode criar aplicativos de Big Data de ponta a ponta em escala de petabytes, abrangendo streaming através do Apache Flink, engenharia de dados e aprendizado de máquina usando o Apache Spark e o poderoso mecanismo de consulta do Trino.

Todos esses recursos combinados com o HDInsight no forte foco do desenvolvedor da AKS permitem que empresas e nativos digitais com profundo conhecimento técnico criem e operem aplicativos adequados às suas necessidades. O HDInsight no AKS permite que os desenvolvedores acessem todas as configurações avançadas fornecidas pelo software de código aberto e a extensibilidade para incluir perfeitamente outras ofertas do ecossistema. Essa oferta permite que os desenvolvedores testem e ajustem seus aplicativos para extrair o melhor desempenho a um custo ideal.

O HDInsight no AKS integra-se com todo o ecossistema do Azure, encurtando os ciclos de implementação e melhorando o tempo de obtenção de valor.

Arquitetura técnica

O HDInsight no AKS introduz o conceito de pools de clusters e clusters, que permitem que você perceba o valor completo do data lakehouse. Os pools de clusters permitem que você use várias cargas de trabalho de computação em um único data lake, removendo assim a sobrecarga do gerenciamento de rede e do planejamento de recursos.

• Grupos de clusters são um agrupamento lógico de clusters que ajudam a criar robusta interoperabilidade entre vários tipos de clusters e permitem às empresas ter os clusters na mesma rede virtual. Os pools de clusters fornecem acesso rápido e econômico a todos os tipos de cluster criados sob demanda e em escala. Um pool de clusters corresponde a um cluster na infraestrutura do AKS.
• Clusters são cargas de trabalho de computação individuais, como Apache Spark, Apache Flink e Trino, que podem ser criadas rapidamente em poucos minutos com configurações predefinidas.

Você pode criar o pool com um único cluster ou uma combinação de tipos de cluster, que são baseados na necessidade e podem configurar as seguintes opções de forma personalizada:

• Armazenamento
• Rede
• Registo
• Monitorização

O diagrama a seguir mostra a arquitetura técnica lógica dos componentes instalados em um pool de clusters padrão. Os clusters são isolados usando namespaces em clusters AKS.

Plataforma de computação nativa da nuvem modernizada

A versão mais recente do HDInsight é orquestrada usando AKS, o que permite que a plataforma seja mais robusta e capacita os usuários a lidar com os clusters de forma eficaz. O provisionamento de clusters no HDInsight no AKS é rápido e confiável, facilitando o gerenciamento de clusters e a execução de atualizações in-loco. Com vastas opções de SKU e modelos de subscrição flexíveis, a modernização dos data lakehouses usando infraestrutura de código aberto, nativa da nuvem e escalável no HDInsight no AKS pode satisfazer todas as suas necessidades de análise.

Principais características incluem:

• Criação e dimensionamento rápidos de clusters.
• Facilidade de manutenção e atualizações periódicas de segurança.
• Resiliência de cluster alimentada pelo AKS nativo da nuvem moderno.
• Suporte nativo para autenticação moderna com OAuth e Microsoft Entra ID.
• Integração profunda com os Serviços do Azure – Azure Data Factory (ADF), Power BI, Azure Monitor.

Conectividade com o HDInsight

O HDInsight no AKS pode se conectar perfeitamente ao HDInsight. Você pode colher os benefícios de usar os tipos de cluster necessários em um modelo híbrido. Interopere com tipos de cluster do HDInsight usando o mesmo armazenamento e metastore em ambas as ofertas.

HDInsight oferece Apache Kafka®, Apache HBase® e outras cargas de trabalho de análise na forma de Plataforma como um Serviço (PaaS).

Os seguintes cenários são suportados:

• Apache Flink conectando-se ao Apache HBase
• Apache Flink conectando-se ao Apache Kafka
• Apache Spark conectando-se ao Apache HBase
• Apache Spark conectando-se ao Apache Kafka

Arquitetura de segurança

O HDInsight no AKS é seguro por padrão. Ele permite que as empresas protejam ativos de dados corporativos com a Rede Virtual do Azure, criptografia e integração com o Microsoft Entra ID. Ele também atende aos padrões de conformidade mais populares do setor e do governo, mantendo os padrões do Azure. Com mais de 30 certificações que ajudam a proteger os dados, juntamente com atualizações periódicas, notificações de conselheiros de saúde, análises de integridade do serviço e os melhores padrões de segurança do Azure. O HDInsight no AKS oferece vários métodos para atender às necessidades de segurança da sua empresa por padrão. Para mais informações, consulte HDInsight sobre a segurança do AKS.

Disponibilidade da região (visualização pública)

Ásia-Pacífico

• Leste da Austrália
• Índia Central
• Ásia Oriental
• Leste do Japão
• Coreia Central
• Sudeste Asiático

Europa

• França Central
• Norte da Europa
• Leste da Noruega
• Suíça Norte
• Sul do Reino Unido
• Europa Ocidental

Américas

• Brasil Sul
• Canadá Central
• EUA centrais
• Leste dos EUA
• Leste dos EUA 2
• Leste dos EUA 2 EUAP
• Centro-Sul dos EUA
• Oeste dos EUA
• Oeste dos EUA 2
• Oeste dos EUA 3

Observação

• A marca e as marcas comerciais Trino pertencem e são geridas pela Trino Software Foundation. Nenhum endosso da The Trino Software Foundation está implícito no uso dessas marcas.
• Apache Spark, Spark e o logotipo Spark são marcas comerciais da Apache Software Foundation (ASF).
• Apache, Apache Kafka, Kafka e o logotipo Kafka são marcas comerciais da Apache Software Foundation (ASF).
• Apache, Apache Flink, Flink e o logotipo Flink são marcas comerciais da Apache Software Foundation (ASF).
• Apache HBase, HBase e o logotipo HBase são marcas comerciais da Apache Software Foundation (ASF).
• Apache®, Apache Spark™, Apache HBase®, Apache Kafka® e Apache Flink® são marcas registadas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou noutros países. Nenhum endosso da Apache Software Foundation está implícito no uso dessas marcas.