Compartilhar via

O que é o HDInsight no AKS? (Versão prévia)

  • Artigo

Importante

O Azure HDInsight no AKS se aposentou em 31 de janeiro de 2025. Saiba mais sobre com este anúncio.

Você precisa migrar suas cargas de trabalho para microsoft fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.

Importante

Esse recurso está atualmente em versão prévia. Os termos de uso complementares para o Microsoft Azure Previews incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, consulte Azure HDInsight em informações de visualização do AKS. Para obter perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações sobre da Comunidade do Azure HDInsight.

O HDInsight no AKS é uma PaaS (Plataforma como Serviço) moderna, confiável, segura e totalmente gerenciada que é executada no AKS (Serviço de Kubernetes do Azure). O HDInsight no AKS permite implantar cargas de trabalho populares do Open-Source Analytics, como Apache Spark™, Apache Flink®️ e Trino sem a sobrecarga de gerenciar e monitorar contêineres.

Você pode criar aplicativos de Big Data de ponta a ponta em escala petabyte que abrangem streaming por meio do Apache Flink, engenharia de dados e machine learning usando o Apache Spark e o poderoso mecanismo de consulta do Trino.

Todos esses recursos combinados com o HDInsight no foco forte do desenvolvedor do AKS permitem que empresas e nativos digitais com profunda experiência técnica criem e operem aplicativos adequados às suas necessidades. O HDInsight no AKS permite que os desenvolvedores acessem todas as configurações avançadas fornecidas pelo software de software livre e a extensibilidade para incluir perfeitamente outras ofertas de ecossistema. Essa oferta capacita os desenvolvedores a testar e ajustar seus aplicativos para extrair o melhor desempenho a um custo ideal.

O HDInsight no AKS integra-se a todo o ecossistema do Azure, reduzindo os ciclos de implementação e melhorando o tempo para obter valor.

Diagrama mostrando as vantagens do HDInsight no AKS.

Arquitetura técnica

O HDInsight no AKS apresenta o conceito de pools de clusters e clusters, que permitem que você aproveite o valor completo do data lakehouse. Os pools de cluster permitem que você use várias cargas de trabalho de computação em um único data lake, removendo assim a sobrecarga do gerenciamento de rede e do planejamento de recursos.

  • pools de clusters são um agrupamento lógico de clusters que ajudam a construir uma interoperabilidade robusta entre vários tipos de clusters, permitindo que as empresas tenham os clusters na mesma rede virtual. Os pools de cluster fornecem acesso rápido e econômico a todos os tipos de cluster criados sob demanda e em escala. Um pool de clusters corresponde a um cluster na infraestrutura do AKS.
  • Clusters são cargas de trabalho de computação individuais, como Apache Spark, Apache Flink e Trino que podem ser criados rapidamente em poucos minutos com configurações predefinidas.

Você pode criar o pool com um único cluster ou uma combinação de tipos de cluster, que se baseiam na necessidade e podem configurar as seguintes opções:

  • Armazenamento
  • Rede
  • Registro de logs
  • Monitorização

O diagrama a seguir mostra a arquitetura técnica lógica dos componentes instalados em um pool de clusters padrão. Os clusters são isolados usando namespaces em clusters do AKS.

Diagrama mostrando o HDInsight na arquitetura do AKS.

Plataforma de computação nativa de nuvem modernizada

A versão mais recente do HDInsight é orquestrada usando o AKS, o que permite que a plataforma seja mais robusta e capacite os usuários a lidar com os clusters com eficiência. O provisionamento de clusters no HDInsight no AKS é rápido e confiável, facilitando o gerenciamento de clusters e a execução de atualizações in-loco. Com vastas opções de SKU e modelos de assinatura flexíveis, modernizar data lakehouses usando infraestrutura de software livre, nativa de nuvem e escalonável no HDInsight no AKS pode atender a todas as suas necessidades de análise.

Diagrama mostrando o HDInsight no AKS como ele é modernizado na plataforma de computação nativa de nuvem.

Principais recursos incluem:

  • Criação e dimensionamento rápidos de cluster.
  • Facilidade de manutenção e atualizações de segurança periódicas.
  • Resiliência de cluster alimentada pelo AKS nativo de nuvem moderno.
  • Suporte nativo para autenticação moderna com OAuth e ID do Microsoft Entra.
  • Integração profunda com os Serviços do Azure – ADF (Azure Data Factory), Power BI e Azure Monitor.

Conectividade com o HDInsight

O HDInsight no AKS pode se integrar perfeitamente ao HDInsight. Você pode colher os benefícios do uso dos tipos de cluster necessários em um modelo híbrido. Interopere com tipos de cluster do HDInsight usando o mesmo armazenamento e metastore em ambas as ofertas.

HDInsight oferece Apache Kafka®, Apache HBase® e outras cargas de trabalho de análise na modalidade PaaS (Plataforma como Serviço).

Diagrama mostrando conceitos de conectividade.

Há suporte para os seguintes cenários:

Arquitetura de segurança

O HDInsight no AKS é seguro por padrão. Ele permite que as empresas protejam ativos de dados corporativos com a Rede Virtual do Azure, a criptografia e a integração com a ID do Microsoft Entra. Ele também atende aos padrões de conformidade mais populares do setor e do governo que mantêm os padrões do Azure. Com mais de 30 certificações que ajudam a proteger dados, juntamente com atualizações periódicas, notificações do consultor de saúde, análise da saúde do serviço e os melhores padrões de segurança do Azure. O HDInsight no AKS oferece vários métodos para atender às suas necessidades de segurança corporativa por padrão. Para mais informações, consulte HDInsight sobre a segurança do AKS.

Diagrama mostrando o conceito de segurança.

Disponibilidade da região (versão prévia pública)

Ásia-Pacífico

  • Leste da Austrália
  • Índia Central
  • Ásia Oriental
  • Leste do Japão
  • Coreia Central
  • Sudeste Asiático

Europa

  • França Central
  • Norte da Europa
  • Leste da Noruega
  • Norte da Suíça
  • Sul do Reino Unido
  • Europa Ocidental

Americas

  • Sul do Brasil
  • Canadá Central
  • EUA Central
  • Leste dos EUA
  • Leste dos EUA 2
  • Leste dos EUA 2 EUAP
  • Centro-Sul dos EUA
  • Oeste dos EUA
  • Oeste dos EUA 2
  • Oeste dos EUA 3

Nota

  • A marca e as marcas registradas da Trino pertencem e são gerenciadas pela Trino Software Foundation. Nenhum endosso do Trino Software Foundation está implícito pelo uso dessas marcas.
  • Apache Spark, Spark e o logotipo do Spark são marcas comerciais do ASF (Apache Software Foundation).
  • Apache, Apache Kafka, Kafka e o logotipo kafka são marcas comerciais do Apache Software Foundation (ASF).
  • Apache, Apache Flink, Flink e o logotipo do Flink são marcas comerciais do APACHE Software Foundation (ASF).
  • Apache HBase, HBase e o logotipo do HBase são marcas comerciais do APACHE Software Foundation (ASF).
  • Apache®, Apache Spark™, Apache HBase®, Apache Kafka® e Apache Flink® são marcas registradas ou marcas comerciais do Apache Software Foundation nos Estados Unidos e/ou em outros países. Nenhum endosso do Apache Software Foundation está implícito com o uso dessas marcas.