Criar cluster do Spark no HDInsight no AKS (Pré-visualização)
Importante
O Azure HDInsight no AKS foi desativado em 31 de janeiro de 2025. Saiba mais com este anúncio.
Você precisa migrar suas cargas de trabalho para Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.
Importante
Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualizações ou ainda não disponibilizadas para disponibilização geral. Para obter informações sobre essa visualização específica, consulte as informações de visualização do Azure HDInsight no AKS. Para perguntas ou sugestões de funcionalidades, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para mais atualizações da Comunidade do Azure HDInsight em .
Depois de concluídas as etapas dos pré-requisitos de assinatura e dos pré-requisitos de recursos , e de ter um pool de clusters implantado, continue a usar o portal do Azure para criar um cluster do Spark. Você pode usar o portal do Azure para criar um cluster Apache Spark no pool de clusters. Em seguida, você pode criar um Jupyter Notebook e usá-lo para executar consultas Spark SQL em tabelas Apache Hive.
No portal do Azure, digite pools de cluster e selecione pools de cluster para ir para a página de pools de clusters. Na página de pools de clusters, selecione o pool de clusters onde pode adicionar um novo cluster Spark.
Na página do grupo de clusters específico, clicar em + Novo cluster.
Esta etapa abre a página de criação do cluster.
Propriedade Descrição Subscrição A assinatura do Azure que foi registada para uso com o HDInsight no AKS na seção Pré-requisitos será previamente preenchida. Grupo de Recursos O mesmo grupo de recursos que o pool de clusters será automaticamente preenchido. Região A mesma região do pool de clusters e ambiente virtual será preenchida automaticamente. Pool de clusters O nome do pool de clusters será pré-preenchido Versão do pool do HDInsight A versão do pool de clusters será pré-preenchida a partir da seleção de criação do pool HDInsight na versão AKS Especifique o IDH na versão AKS Tipo de cluster Na lista suspensa, selecione Spark Versão do cluster Selecione a versão da imagem a ser usada Nome do cluster Insira o nome do novo cluster Identidade gerenciada atribuída pelo usuário Selecione a identidade gerenciada atribuída ao usuário que funcionará como uma cadeia de conexão com o armazenamento Conta de armazenamento Selecione a conta de armazenamento pré-criada que deve ser usada como armazenamento principal para o cluster Nome do contêiner Selecione o nome do contêiner (exclusivo) se pré-criado ou crie um novo contêiner Catálogo Hive (opcional) Selecione o metastore do Hive previamente criado (Banco de Dados SQL do Azure) Banco de dados SQL para Hive Na lista suspensa, selecione o banco de dados SQL no qual adicionar tabelas do hive-metastore. Nome de usuário do administrador do SQL Insira o nome de usuário do administrador do SQL Cofre de chaves Na lista pendente, selecione o Cofre de Chaves, que contém um segredo com a senha para o nome de utilizador do administrador do SQL. Nome do segredo da senha SQL Digite o nome secreto do Cofre de Chaves onde a senha do Banco de Dados SQL está armazenada Observação
- Atualmente, o HDInsight suporta apenas bancos de dados do MS SQL Server.
- Devido à limitação do Hive, o caractere "-" (hífen) no nome do banco de dados do metastore não é suportado.
Selecione Seguinte: Configuração e preços para continuar.
Propriedade Descrição Tamanho do nó Selecione o tamanho a ser utilizado para os nós do Spark Número de nós de trabalho Selecione o número de nós para o cluster Spark. Destes, três nós são reservados para serviços de coordenador e sistema, os nós restantes são dedicados aos trabalhadores do Spark, um trabalhador por nó. Por exemplo, em um cluster de cinco nós há dois trabalhadores Dimensionamento automático Clique no botão de toggle para ativar o Autoscale Tipo de dimensionamento automático Escolha entre o dimensionamento automático baseado em carga ou baseado em agendamento Tempo limite de desativação suave Especificar o tempo limite de descomissionamento gracioso Número padrão de nós de computação Selecione o número de nós para dimensionamento automático Fuso Horário Selecione o fuso horário Regras de dimensionamento automático Selecione o dia, hora de início, hora de término, número de nós de cálculo Ativar SSH Se habilitado, permite que você defina Prefixo e Número de nós SSH Clique Avançar : Integrações para ativar e selecionar Log Analytics for Logging.
O Azure Prometheus para monitoramento e métricas pode ser habilitado após a criação de cluster.
Clique Seguinte: Etiquetas para continuar para a página seguinte.
Na página Tags, introduza as etiquetas que pretende adicionar ao seu recurso.
Propriedade Descrição Nome Opcional. Introduza um nome como HDInsight no AKS Private Preview para identificar facilmente todos os recursos associados aos seus recursos Valor Deixe isto em branco Recurso Selecione Todos os recursos selecionados Clique em Seguinte: Rever e criar.
Na página Rever + criar, verifique se a mensagem "Validação bem-sucedida" está na parte de cima da página e, em seguida, clique em Criar.
A página de Deployment está em processo, e a página é exibida onde o cluster é criado. Leva de 5 a 10 minutos para criar o cluster. Depois de o cluster ser criado, a mensagem "A sua implementação está concluída" será exibida. Se navegares para fora da página, podes consultar as tuas notificações para saber o estado.
Vai para a página de visão geral do cluster , onde podes ver as ligações de endpoints.
