O que é o HDInsight no AKS? (Visualização)

Observação

Desativaremos o Microsoft Azure HDInsight no AKS em 31 de janeiro de 2025. Para evitar o encerramento abrupto das suas cargas de trabalho, você precisará migrá-las para o Microsoft Fabric ou para um produto equivalente do Azure antes de 31 de janeiro de 2025. Os clusters restantes em sua assinatura serão interrompidos e removidos do host.

Somente o suporte básico estará disponível até a data de desativação.

Importante

Esse recurso está atualmente na visualização. Os Termos de uso complementares para versões prévias do Microsoft Azure incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, confira Informações sobre a versão prévia do Azure HDInsight no AKS. Caso tenha perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para ver mais atualizações sobre a Comunidade do Azure HDInsight.

O HDInsight no AKS é uma Plataforma como Serviço (PaaS) moderna, confiável, segura e totalmente gerenciada que é executada no Serviço de Kubernetes do Azure (AKS). O HDInsight no AKS permite implantar cargas de trabalho populares do Open-Source Analytics, como Apache Spark™, Apache Flink®️ e Trino, sem a sobrecarga de gerenciar e monitorar contêineres.

Você pode criar aplicativos de Big Data completos em escala de petabytes, abrangendo streaming por meio do Apache Flink, engenharia de dados e aprendizado de máquina usando o Apache Spark e o poderoso mecanismo de consulta da Trino.

Todos esses recursos combinados com o forte foco de desenvolvedor do HDInsight no AKS permitem que empresas e nativos digitais com profundo conhecimento técnico criem e operem aplicativos adequados às suas necessidades. O HDInsight no AKS permite que os desenvolvedores acessem todas as configurações avançadas fornecidas pelo software de código aberto e a extensibilidade para incluir perfeitamente outras ofertas de ecossistema. Essa oferta permite que os desenvolvedores testem e ajustem seus aplicativos para extrair o melhor desempenho a um custo ideal.

O HDInsight no AKS integra-se com todo o ecossistema do Azure, encurtando os ciclos de implementação e melhorando o tempo de obtenção de valor.

Arquitetura técnica

O HDInsight no AKS introduz o conceito de pools de cluster e clusters, que permitem que você perceba o valor completo do data lakehouse. Os pools de cluster permitem que você use várias cargas de trabalho de computação em um único data lake, removendo assim a sobrecarga do gerenciamento de rede e do planejamento de recursos.

• Pools de cluster são um agrupamento lógico de clusters que ajudam a criar interoperabilidade robusta entre vários tipos de cluster e permitem que as empresas tenham os clusters na mesma rede virtual. Os pools de cluster fornecem acesso rápido e econômico a todos os tipos de cluster criados sob demanda e em escala. Um pool de cluster corresponde a um cluster na infraestrutura AKS.
• Clusters são cargas de trabalho de computação individuais, como Apache Spark, Apache Flink e Trino que podem ser criadas rapidamente em poucos minutos com configurações predefinidas.

Você pode criar o pool com um único cluster ou uma combinação de tipos de cluster, que são baseados na necessidade e podem configurar as seguintes opções personalizadas:

• Armazenamento
• Rede
• Registrando em log
• Monitoramento

O diagrama a seguir mostra a arquitetura técnica lógica dos componentes instalados em um pool de cluster padrão. Os clusters são isolados usando namespaces em clusters AKS.

Plataforma de computação nativa da nuvem modernizada

A versão mais recente do HDInsight é orquestrada usando AKS, o que permite que a plataforma seja mais robusta e capacita os usuários a lidar com os clusters de forma eficaz. O provisionamento de clusters no HDInsight no AKS é rápido e confiável, facilitando o gerenciamento de clusters e a execução de atualizações in-loco. Com vastas opções de SKU e modelos de assinatura flexíveis, modernizar data lakehouses usando infraestrutura de código aberto, nativa da nuvem e escalável no HDInsight no AKS pode atender a todas as suas necessidades de análise.

Os principais recursos incluem:

• Criação e dimensionamento rápidos de clusters.
• Facilidade de manutenção e atualizações periódicas de segurança.
• Resiliência de cluster alimentada pelo AKS moderno nativo da nuvem.
• Suporte nativo para autenticação moderna com OAuth e Microsoft Entra ID.
• Integração profunda com os Serviços do Azure – Azure Data Factory (ADF), Power BI, Azure Monitor.

Conectividade com o HDInsight

O HDInsight no AKS pode se conectar perfeitamente com o HDInsight. Você pode colher os benefícios de usar os tipos de cluster necessários em um modelo híbrido. Interopere com tipos de cluster do HDInsight usando o mesmo armazenamento e metastore em ambas as ofertas.

O HDInsight oferece o Apache Kafka®, o Apache HBase® e outras cargas de trabalho de análise no fator forma de plataforma como serviço (PaaS).

Há suporte para os seguintes cenários:

• Apache Flink conectando-se ao Apache HBase
• Apache Flink conectando-se ao Apache Kafka
• Apache Spark conectando-se ao Apache HBase
• Apache Spark conectando-se ao Apache Kafka

Arquitetura de segurança

O HDInsight no AKS é seguro por padrão. Ele permite que as empresas protejam ativos de dados corporativos com a Rede Virtual do Azure, criptografia e integração com o Microsoft Entra ID. Ele também atende aos padrões de conformidade mais populares do setor e do governo, mantendo os padrões do Azure. Com mais de 30 certificações que ajudam a proteger os dados, juntamente com atualizações periódicas, notificações do consultor de integridade, análise de integridade do serviço, juntamente com os melhores padrões de segurança do Azure. O HDInsight no AKS oferece vários métodos para atender às necessidades de segurança da sua empresa por padrão. Para mais informações, consulte Segurança do HDInsight no AKS.

Disponibilidade de região (versão prévia pública)

Pacífico Asiático

• Leste da Austrália
• Índia Central
• Leste da Ásia
• Leste do Japão
• Coreia Central
• Sudeste Asiático

Europa

• França Central
• Norte da Europa
• Leste da Noruega
• Norte da Suíça
• Sul do Reino Unido
• Europa Ocidental

Américas

• Brazil South
• Canadá Central
• Centro dos EUA
• Leste dos EUA
• Leste dos EUA 2
• Leste dos EUA 2 EUAP
• Centro-Sul dos Estados Unidos
• Oeste dos EUA
• Oeste dos EUA 2
• Oeste dos EUA 3

Observação

• A marca Trino e marcas registradas são gerenciadas e de propriedade da Trino Software Foundation. O uso dessas marcas não implica aprovação por parte da Trino Software Foundation.
• O Apache Spark, Spark e o logotipo do Spark são marcas registradas da Apache Software Foundation (ASF).
• O Apache, Apache Kafka, Kafka e o logotipo kafka são marcas registradas da Apache Software Foundation (ASF).
• O Apache, Apache Flink, Flink e o logotipo do Flink são marcas registradas da Apache Software Foundation (ASF).
• O Apache HBase, HBase e o logotipo do HBase são marcas registradas do Apache Software Foundation (ASF).
• Apache®, Apache Spark™, Apache HBase®, Apache Kafka® e Apache Flink® são marcas registradas ou comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. O uso desta marca não implica aprovação por parte da Apache Software Foundation.