Criar cluster do Spark no HDInsight no AKS (Visualização)
Nota
Vamos desativar o Azure HDInsight no AKS em 31 de janeiro de 2025. Antes de 31 de janeiro de 2025, você precisará migrar suas cargas de trabalho para o Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho. Os clusters restantes na sua subscrição serão interrompidos e removidos do anfitrião.
Apenas o apoio básico estará disponível até à data da reforma.
Importante
Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponibilizadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Informações de visualização do Azure HDInsight no AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade do Azure HDInsight.
Quando as etapas de pré-requisitos de assinatura e pré-requisitos de recursos estiverem concluídas e você tiver um pool de clusters implantado, continue a usar o portal do Azure para criar um cluster do Spark. Você pode usar o portal do Azure para criar um cluster Apache Spark no pool de clusters. Em seguida, você pode criar um Jupyter Notebook e usá-lo para executar consultas Spark SQL em tabelas Apache Hive.
No portal do Azure, digite pools de cluster e selecione pools de cluster para ir para a página de pools de clusters. Na página pools de clusters, selecione o pool de clusters no qual você pode adicionar um novo cluster do Spark.
Na página do pool de clusters específico, clique em + Novo cluster.
Esta etapa abre a página de criação do cluster.
Property Descrição Subscrição A assinatura do Azure que foi registrada para uso com o HDInsight no AKS na seção Pré-requisitos com ser preenchida previamente Grupo de Recursos O mesmo grupo de recursos que o pool de clusters será pré-preenchido País/Região A mesma região do pool de clusters e virtual será pré-preenchida Pool de clusters O nome do pool de clusters será pré-preenchido Versão do pool do HDInsight A versão do pool de clusters será pré-preenchida a partir da seleção de criação do pool HDInsight na versão AKS Especifique o IDH na versão AKS Tipo de cluster Na lista suspensa, selecione Faísca Versão do cluster Selecione a versão da imagem a ser usada Nome do cluster Insira o nome do novo cluster Identidade gerida atribuída pelo utilizador Selecione a identidade gerenciada atribuída ao usuário que funcionará como uma cadeia de conexão com o armazenamento Conta de Armazenamento Selecione a conta de armazenamento pré-criada que deve ser usada como armazenamento principal para o cluster Nome do contentor Selecione o nome do contêiner (exclusivo) se pré-criado ou crie um novo contêiner Catálogo Hive (opcional) Selecione o metastore do Hive pré-criado (Banco de Dados SQL do Azure) Banco de dados SQL para Hive Na lista suspensa, selecione o Banco de dados SQL no qual adicionar tabelas de metastore de colmeia. Nome de usuário do administrador do SQL Insira o nome de usuário do administrador do SQL Key Vault Na lista suspensa, selecione o Cofre da Chave, que contém um segredo com senha para o nome de usuário do administrador do SQL Nome secreto da senha SQL Digite o nome secreto do Cofre de Chaves onde a senha do Banco de Dados SQL está armazenada Nota
- Atualmente, o HDInsight suporta apenas bancos de dados do MS SQL Server.
- Devido à limitação do Hive, o caractere "-" (hífen) no nome do banco de dados do metastore não é suportado.
Selecione Next: Configuration + pricing para continuar.
Property Description Tamanho do nó Selecione o tamanho do nó a ser usado para os nós do Spark Número de nós de trabalho Selecione o número de nós para o cluster Spark. Destes, três nós são reservados para serviços de coordenador e sistema, os nós restantes são dedicados aos trabalhadores do Spark, um trabalhador por nó. Por exemplo, em um cluster de cinco nós há dois trabalhadores Dimensionamento Automático Clique no botão de alternância para ativar o Autoscale Tipo de dimensionamento automático Selecione a partir do dimensionamento automático baseado em carga ou agendamento Tempo limite de descomissionamento gracioso Especificar o tempo limite de descomissionamento gracioso Nº do nó de trabalhador padrão Selecione o número de nós para dimensionamento automático Fuso Horário Selecione o fuso horário Regras de dimensionamento automático Selecione o dia, hora de início, hora de término, não. de nós de trabalho Ativar SSH Se habilitado, permite que você defina Prefixo e Número de nós SSH Clique em Avançar : Integrações para ativar e selecionar Log Analytics for Logging.
O Azure Prometheus para monitoramento e métricas pode ser habilitado após a criação de cluster.
Clique em Seguinte: Etiquetas para continuar para a página seguinte.
Na página Etiquetas, introduza quaisquer etiquetas que pretenda adicionar ao seu recurso.
Property Descrição Name Opcional. Introduza um nome como HDInsight no AKS Private Preview para identificar facilmente todos os recursos associados aos seus recursos Value Deixe isto em branco Recurso Selecione Todos os recursos selecionados Clique em Seguinte : Rever + criar.
Na página Rever + criar, procure a mensagem Validação bem-sucedida na parte superior da página e, em seguida, clique em Criar.
A página Implantação está em processo é exibida na qual o cluster é criado. Leva de 5 a 10 minutos para criar o cluster. Depois que o cluster for criado, a mensagem Sua implantação está concluída será exibida. Se você navegar para fora da página, você pode verificar suas notificações para o status.
Vá para a página de visão geral do cluster, você pode ver os links de ponto de extremidade lá.
