HDInsight no AKS – Perguntas frequentes
Este artigo aborda algumas perguntas comuns sobre o Azure HDInsight no AKS.
Importante
O Azure HDInsight no AKS se aposentou em 31 de janeiro de 2025. Saiba mais com este comunicado.
Você precisa migrar suas cargas de trabalho para microsoft fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.
Importante
Esse recurso está atualmente em versão prévia. Os termos de uso complementares para o Microsoft Azure Previews incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, consulte Azure HDInsight em informações de visualização do AKS. Para perguntas ou sugestões de funcionalidades, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações sobre a Comunidade do Azure HDInsight .
Geral
O que é o HDInsight no AKS?
O HDInsight no AKS é uma nova versão do HDInsight, que fornece serviço de cluster gerenciado pronto para empresas com projetos emergentes de análise de software livre, como Apache Flink (para Streaming), Trino (para análise de adhoc e BI) e Apache Spark. Para obter mais informações, consulte Visão geral.
Quais formas de cluster dão suporte ao HDInsight no AKS?
O HDInsight no AKS dá suporte a Trino, Apache Flink e Apache Spark para começar. No entanto, outros tipos de clusters, como Kafka, Hive etc., estão no roteiro.
Como começar a usar o HDInsight no AKS?
Para começar, visite o Azure Marketplace, pesquise por Azure HDInsight no serviço AKS e consulte começando.
O que acontece com o HDInsight existente na VM e os clusters que estou executando hoje?
Não há alterações no HDInsight (HDInsight na VM). Todos os clusters existentes continuam a ser executados e você pode continuar a criar e dimensionar novos clusters HDInsight.
Qual sistema operacional tem suporte com o HDInsight no AKS?
O HDInsight no AKS é baseado no Mariner OS. Para mais informações, consulte a Versão do Sistema Operacional .
Em quais regiões o HDInsight está disponível no AKS?
Para obter uma lista de regiões com suporte, consulte disponibilidade de regiões.
Qual é o custo para implantar um HDInsight no cluster do AKS?
Para obter mais informações sobre preços, consulte HDInsight sobre preços do AKS.
Gerenciamento de cluster
Posso executar vários clusters simultaneamente?
Sim, você pode executar quantos clusters desejar por pool de cluster simultaneamente. No entanto, verifique se você não está restrito por uma cota no seu plano de assinatura. O número máximo de nós permitido em um pool de clusters é 250 (em versão prévia pública).
Posso instalar ou adicionar mais plug-ins/bibliotecas no meu cluster?
Sim, você pode instalar plug-ins e bibliotecas personalizados dependendo das formas do cluster.
- Para o Trino, consulte sobre Instalar plug-ins personalizados.
- Para o Spark, consulte o gerenciamento da Biblioteca de no Spark.
Posso fazer SSH no meu cluster?
Sim, você pode SSH em seu cluster por meio de webssh e executar consultas e enviar trabalhos diretamente de lá.
Metastore
Posso usar um metastore externo para me conectar ao meu cluster?
Sim, você pode usar um metastore externo. No entanto, oferecemos suporte apenas ao Banco de Dados SQL do Azure como um metastore personalizado externo.
Posso compartilhar um metastore em vários clusters?
Sim, você pode compartilhar um metastore entre vários HDInsight no ambiente AKS.
Qual é a versão do metastore do Hive com suporte?
Metastore do Hive versão 3.1.2
Cargas de Trabalho
Trino
O que é Trino?
O Trino é um mecanismo de consulta SQL federado e distribuído de software livre, que permite consultar dados que residem em diferentes fontes de dados sem migrar para um data warehouse central. Você pode consultar os dados usando o SQL ANSI, não é necessário aprender um novo idioma. Para mais informações, consulte a visão geral do Trino .
Quais conectores vocês suportam?
O HDInsight no AKS Trino dá suporte a vários conectores. Para mais informações, consulte a lista de conectores Trino . Continuamos adicionando novos conectores como e quando novos conectores estão disponíveis na versão de software livre.
Posso adicionar catálogos a um cluster existente?
Sim, você pode adicionar catálogos com suporte ao cluster existente. Para obter mais informações, consulte Adicionar catálogos a um cluster existente.
Apache Flink
O que é Apache Flink?
O Apache Flink é um mecanismo de análise de software livre, de primeira linha, para processamento de dados em fluxo e para executar cálculos com estado em fluxos de dados não limitados e limitados. Pode executar cálculos em velocidade de memória e em qualquer escala. O Flink no HDInsight no AKS oferece o Apache Flink de software livre gerenciado. Para mais informações, consulte a visão geral do Flink .
Você dá suporte ao modo de sessão e aplicativo no Apache Flink?
No HDInsight em AKS, o Flink atualmente dá suporte a clusters de modo de sessão.
O que é o gerenciamento de estado no backend e como é feito no HDInsight no AKS?
Os back-ends determinam onde o estado é armazenado. Quando o ponto de verificação é ativado, o estado é mantido nos pontos de verificação para salvaguardar contra perda de dados e permitir uma recuperação consistente. Como o estado é representado internamente e como e onde ele é persistido nos checkpoints dependem do backend de estado escolhido. Para obter mais informações, consulte visão geral do Flink
Apache Spark
O que é o Apache Spark?
O Apache Spark é uma estrutura de processamento de dados que pode executar rapidamente tarefas de processamento em grandes conjuntos de dados e também pode distribuir tarefas de processamento de dados em vários computadores, por conta própria ou em conjunto com outras ferramentas de computação distribuídas.
Quais APIs de idioma têm suporte no Spark?
O Azure HDInsight no AKS dá suporte a Python e Scala.
Há suporte para metastore externo no HDInsight no AKS Spark?
O HDInsight no AKS dá suporte à conectividade metastore externa. Atualmente, apenas o BD SQL do Azure tem suporte como metastore externo.
Quais são as várias maneiras de enviar trabalhos no HDInsight no AKS Spark?
Você pode enviar trabalhos no HDInsight no AKS Spark usando Jupyter Notebook, Zeppelin Notebook, SDK e terminal de cluster. Para obter mais informações, consulte Enviar e Gerenciar Tarefas em um cluster Spark no HDInsight no AKS