HDInsight no AKS - Perguntas frequentes
Este artigo aborda algumas perguntas comuns sobre o Azure HDInsight no AKS.
Importante
O Azure HDInsight no AKS foi desativado em 31 de janeiro de 2025. Saiba mais com este anúncio.
Você precisa migrar suas cargas de trabalho para Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.
Importante
Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em fase beta, em pré-visualização ou ainda não lançadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Azure HDInsight no AKS informações de visualização. Para perguntas ou sugestões de funcionalidades, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para mais atualizações em Comunidade do Azure HDInsight.
Geral
O que é o HDInsight no AKS?
O HDInsight no AKS é uma nova versão do HDInsight, que fornece serviço de cluster gerenciado pronto para empresas com projetos emergentes de análise de código aberto como Apache Flink (para Streaming), Trino (para análise adhoc e BI) e Apache Spark. Para obter mais informações, consulte Visão geral .
Que formas de cluster são suportadas pelo HDInsight no AKS?
O HDInsight no AKS suporta Trino, Apache Flink e Apache Spark para começar. No entanto, outras formas de cluster, como Kafka, Hive, etc., estão no roteiro.
Como faço para começar a usar o HDInsight no AKS?
Para começar, visite o Azure Marketplace e procure pelo serviço Azure HDInsight no AKS e consulte os recursos de iniciação .
O que acontece com o HDInsight existente na VM e os clusters que estou executando hoje?
Não há alterações no HDInsight existente (HDInsight na VM). Todos os clusters existentes continuam a ser executados e você pode continuar a criar e dimensionar novos clusters HDInsight.
Qual sistema operacional é compatível com o HDInsight no AKS?
O HDInsight no AKS é baseado no Mariner OS. Para obter mais informações, consulte Versão do SO.
Em que todas as regiões o HDInsight no AKS está disponível?
Para obter uma lista de regiões suportadas, consulte Disponibilidade da Região.
Qual é o custo para implantar um HDInsight no AKS Cluster?
Para obter mais informações sobre preços, consulte HDInsight sobre preços AKS.
Gestão de clusters
Posso executar vários clusters simultaneamente?
Sim, você pode executar quantos clusters quiser por pool de clusters simultaneamente. No entanto, certifique-se de que não está limitado por quota para a sua subscrição. O número máximo de nós permitido em um pool de clusters é 250 (em visualização pública).
Posso instalar ou adicionar mais plugins/bibliotecas no meu cluster?
Sim, você pode instalar plug-ins e bibliotecas personalizados dependendo das formas do cluster.
- Para Trino, consulte Instalar complementos personalizados.
- Para o Spark, consulte Gestão de biblioteca no Spark.
Posso SSH no meu cluster?
Sim, você pode SSH em seu cluster via webssh e executar consultas e enviar trabalhos diretamente de lá.
Metastore
Posso usar um metastore externo para me conectar ao meu cluster?
Sim, você pode usar um metastore externo. No entanto, oferecemos suporte apenas ao Banco de Dados SQL do Azure como um metastore personalizado externo.
Posso compartilhar um metastore em vários clusters?
Sim, você pode compartilhar um metastore em vários HDInsight do AKS.
Qual é a versão suportada do metastore do Hive?
Hive metastore versão 3.1.2
Cargas de trabalho
Trino
Qual é Trino?
O Trino é um mecanismo de consulta SQL federado e distribuído de código aberto, que permite consultar dados que residem em diferentes fontes de dados sem se deslocar para um data warehouse central. Você pode consultar os dados usando ANSI SQL, sem necessidade de aprender uma nova linguagem. Para obter mais informações, consulte Trino Visão geral.
Quais são os conectores suportados?
O HDInsight no AKS Trino suporta vários conectores. Para mais informações, consulte esta lista de conectores Trino . Continuamos a adicionar novos conectores à medida que novos conectores estão disponíveis na versão de código aberto.
Posso adicionar catálogos a um cluster existente?
Sim, você pode adicionar catálogos suportados ao cluster existente. Para obter mais informações, consulte Adicionar catálogos a um cluster existente.
Apache Flink
O que é Apache Flink?
O Apache Flink é um mecanismo analítico de primeira linha de código aberto para processamento de fluxo e execução de computação com estado em fluxos de dados ilimitados e limitados. Ele pode executar cálculos na velocidade da memória e em qualquer escala. O Flink no HDInsight no AKS oferece o Apache Flink gerenciado e de código aberto. Para obter mais informações, consulte visão geral do Flink.
Você suporta o modo de sessão e aplicativo no Apache Flink?
No HDInsight no AKS, o Flink atualmente suporta clusters de modo de sessão.
O que é a gestão de back-end de estado e como é feita no HDInsight no AKS?
Os back-ends determinam onde o estado é armazenado. Quando o ponto de verificação é ativado, o estado é mantido nos pontos de verificação para proteger contra a perda de dados e recuperar eficazmente. Como o estado é representado internamente e como e onde ele é persistido nos pontos de verificação depende do Backend do Estado escolhido. Para obter mais informações, consulte Visão geral do Flink
Apache Spark
O que é o Apache Spark?
O Apache Spark é uma estrutura de processamento de dados que pode executar rapidamente tarefas de processamento em grandes conjuntos de dados e também pode distribuir tarefas de processamento de dados em vários computadores, sozinho ou em conjunto com outras ferramentas de computação distribuída.
Quais APIs de idioma são suportadas no Spark?
O Azure HDInsight no AKS suporta Python e Scala.
O metastore externo é compatível com o HDInsight no AKS Spark?
O HDInsight no AKS suporta conectividade de metastore externo. Atualmente, apenas o Banco de Dados SQL do Azure tem suporte como metastore externo.
Quais são as várias maneiras de enviar vagas no HDInsight no AKS Spark?
Você pode enviar trabalhos no HDInsight no AKS Spark usando Jupyter Notebook, Zeppelin Notebook, SDK e terminal de cluster. Para obter mais informações, consulte Enviar e gerir trabalhos num cluster Spark no HDInsight no AKS