HDInsight no AKS - Perguntas frequentes
Este artigo aborda algumas perguntas comuns sobre o Azure HDInsight no AKS.
Nota
Vamos desativar o Azure HDInsight no AKS em 31 de janeiro de 2025. Antes de 31 de janeiro de 2025, você precisará migrar suas cargas de trabalho para o Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho. Os clusters restantes na sua subscrição serão interrompidos e removidos do anfitrião.
Apenas o apoio básico estará disponível até à data da reforma.
Importante
Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponibilizadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Informações de visualização do Azure HDInsight no AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade do Azure HDInsight.
Geral
O que é o HDInsight no AKS?
O HDInsight no AKS é uma nova versão do HDInsight, que fornece serviço de cluster gerenciado pronto para empresas com projetos emergentes de análise de código aberto como Apache Flink (para Streaming), Trino (para análise adhoc e BI) e Apache Spark. Para obter mais informações, veja Descrição geral.
Que formas de cluster são suportadas pelo HDInsight no AKS?
O HDInsight no AKS suporta Trino, Apache Flink e Apache Spark para começar. No entanto, outras formas de cluster, como Kafka, Hive, etc., estão no roteiro.
Como faço para começar a usar o HDInsight no AKS?
Para começar, visite o Azure Marketplace e pesquise o serviço Azure HDInsight no AKS e consulte Introdução.
O que acontece com o HDInsight existente na VM e os clusters que estou executando hoje?
Não há alterações no HDInsight existente (HDInsight na VM). Todos os clusters existentes continuam a ser executados e você pode continuar a criar e dimensionar novos clusters HDInsight.
Qual sistema operacional é compatível com o HDInsight no AKS?
O HDInsight no AKS é baseado no Mariner OS. Para obter mais informações, consulte Versão do sistema operacional.
Em que todas as regiões o HDInsight no AKS está disponível?
Para obter uma lista de regiões suportadas, consulte Disponibilidade da região.
Qual é o custo para implantar um HDInsight no AKS Cluster?
Para obter mais informações sobre preços, consulte HDInsight sobre preços AKS.
Gestão do Cluster
Posso executar vários clusters simultaneamente?
Sim, você pode executar quantos clusters quiser por pool de clusters simultaneamente. No entanto, certifique-se de que não está limitado por quota para a sua subscrição. O número máximo de nós permitido em um pool de clusters é 250 (em visualização pública).
Posso instalar ou adicionar mais plugins/bibliotecas no meu cluster?
Sim, você pode instalar plug-ins e bibliotecas personalizados dependendo das formas do cluster.
- Para Trino, consulte Instalar plugins personalizados.
- Para o Spark, consulte Gerenciamento de biblioteca no Spark.
Posso SSH no meu cluster?
Sim, você pode SSH em seu cluster via webssh e executar consultas e enviar trabalhos diretamente de lá.
Metastore
Posso usar um metastore externo para me conectar ao meu cluster?
Sim, você pode usar um metastore externo. No entanto, oferecemos suporte apenas ao Banco de Dados SQL do Azure como um metastore personalizado externo.
Posso compartilhar um metastore em vários clusters?
Sim, você pode compartilhar um metastore em vários HDInsight do AKS.
Qual é a versão do metastore do Hive suportada?
Hive metastore versão 3.1.2
Cargas de Trabalho
Trino
Qual é Trino?
O Trino é um mecanismo de consulta SQL federado e distribuído de código aberto, que permite consultar dados que residem em diferentes fontes de dados sem se deslocar para um data warehouse central. Você pode consultar os dados usando ANSI SQL, sem necessidade de aprender uma nova linguagem. Para obter mais informações, consulte Visão geral do Trino.
Quais são os conectores suportados?
O HDInsight no AKS Trino suporta vários conectores. Para obter mais informações, consulte esta lista de conectores Trino. Continuamos a adicionar novos conectores à medida que novos conectores estão disponíveis na versão de código aberto.
Posso adicionar catálogos a um cluster existente?
Sim, você pode adicionar catálogos suportados ao cluster existente. Para obter mais informações, consulte Adicionar catálogos a um cluster existente.
Apache Flink
O que é Apache Flink?
O Apache Flink é o melhor mecanismo analítico de código aberto da categoria para processamento de fluxo e execução de computação stateful em fluxos de dados ilimitados e limitados. Ele pode executar cálculos na velocidade da memória e em qualquer escala. O Flink no HDInsight no AKS oferece o Apache Flink de código aberto gerenciado. Para obter mais informações, consulte Visão geral do Flink.
Você suporta o modo de sessão e aplicativo no Apache Flink?
No HDInsight no AKS, o Flink atualmente suporta clusters de modo de sessão.
O que é o gerenciamento de back-end de estado e como ele é feito no HDInsight no AKS?
Os back-ends determinam onde o estado é armazenado. Quando o ponto de verificação é ativado, o estado é persistido nos pontos de verificação para proteger contra a perda de dados e recuperar de forma consistente. Como o estado é representado internamente e como e onde ele é persistido nos pontos de verificação depende do Backend do Estado escolhido. Para obter mais informações, consulte Visão geral do Flink
Apache Spark
O que é o Apache Spark?
O Apache Spark é uma estrutura de processamento de dados que pode executar rapidamente tarefas de processamento em grandes conjuntos de dados e também pode distribuir tarefas de processamento de dados em vários computadores, sozinho ou em conjunto com outras ferramentas de computação distribuída.
Quais APIs de idioma são suportadas no Spark?
O Azure HDInsight no AKS suporta Python e Scala.
O metastore externo é compatível com o HDInsight no AKS Spark?
O HDInsight no AKS suporta conectividade de metastore externo. Atualmente, apenas o Banco de Dados SQL do Azure tem suporte como metastore externo.
Quais são as várias maneiras de enviar vagas no HDInsight no AKS Spark?
Você pode enviar trabalhos no HDInsight no AKS Spark usando Jupyter Notebook, Zeppelin Notebook, SDK e terminal de cluster. Para obter mais informações, consulte Enviar e gerenciar trabalhos em um cluster do Spark no HDInsight no AKS