Criar um cluster com o Data Lake Storage Gen2 usando o portal do Azure

O portal do Azure é uma ferramenta de gerenciamento baseada na Web para serviços e recursos hospedados na nuvem do Microsoft Azure. Neste artigo, você aprenderá a criar clusters do Azure HDInsight baseados em Linux usando o portal. Mais detalhes estão disponíveis em Criar clusters HDInsight.

Aviso

A cobrança de clusters HDInsight é rateada por minuto, quer você os use ou não. Certifique-se de excluir o cluster depois de terminar de usá-lo. Veja como excluir um cluster HDInsight.

Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar.

Para criar um cluster HDInsight que usa o Data Lake Storage Gen2 para armazenamento, siga estas etapas para configurar uma conta de armazenamento que tenha um namespace hierárquico.

Criar uma identidade gerida atribuída pelo utilizador

Crie uma identidade gerenciada atribuída pelo usuário, se ainda não tiver uma.

1. Inicie sessão no portal do Azure.
2. No canto superior esquerdo, clique em Criar um recurso.
3. Na caixa de pesquisa, digite usuário atribuído e clique em Identidade gerenciada atribuída pelo usuário.
4. Clique em Criar.
5. Introduza um nome para a sua identidade gerida, selecione a subscrição, o grupo de recursos e a localização corretos.
6. Clique em Criar.

Para obter mais informações sobre como as identidades gerenciadas funcionam no Azure HDInsight, consulte Identidades gerenciadas no Azure HDInsight.

Criar uma conta de armazenamento para usar com o Data Lake Storage Gen2

Criar uma conta de armazenamento para utilizar com o Azure Data Lake Storage Gen2.

1. Inicie sessão no portal do Azure.
2. No canto superior esquerdo, clique em Criar um recurso.
3. Na caixa de pesquisa, digite armazenamento e clique em conta de armazenamento.
4. Clique em Criar.
5. Create storage account No ecrã:
   1. Selecione a assinatura e o grupo de recursos corretos.
   2. Insira um nome para sua conta de armazenamento com o Data Lake Storage Gen2.
   3. Clique na guia Avançado .
   4. Clique em Habilitado ao lado de Namespace hierárquico em Data Lake Storage Gen2.
   5. Clique em Rever + criar.
   6. Clique em Criar

Para obter mais informações sobre outras opções durante a criação da conta de armazenamento, consulte Guia de início rápido: criar uma conta de armazenamento para o Azure Data Lake Storage Gen2.

Configurar permissões para a identidade gerenciada no Data Lake Storage Gen2

Atribua a identidade gerenciada à função Proprietário de Dados de Blob de Armazenamento na conta de armazenamento.

1. No portal do Azure, vá para sua conta de armazenamento.

2. Selecione Controlo de acesso (IAM) .

3. Selecione Adicionar > atribuição de função.

   

4. Na guia Função, selecione Proprietário dos Dados do Blob de Armazenamento.

   

5. No separador Membros, selecione Identidade gerida e, em seguida, selecione Selecionar membros.

6. Selecione a sua subscrição, selecione Identidade gerida atribuída pelo utilizador e, em seguida, selecione a identidade gerida atribuída pelo utilizador.

7. No separador Rever + atribuir, selecione Rever + atribuir para atribuir a função.

   A identidade atribuída pelo usuário que você selecionou agora está listada na função selecionada.

   Para obter mais informações sobre atribuições de função, consulte Atribuir funções do Azure usando o portal do Azure

8. Após a conclusão dessa configuração inicial, você pode criar um cluster através do portal. O cluster deve estar na mesma região do Azure que a conta de armazenamento. Na guia Armazenamento do menu de criação de cluster, selecione as seguintes opções:

   • Para Tipo de armazenamento principal, selecione Azure Data Lake Storage Gen2.

   • Em Conta de armazenamento principal, procure e selecione a conta de armazenamento recém-criada com o armazenamento Data Lake Storage Gen2.

   • Em Identidade, selecione a identidade gerenciada recém-criada atribuída pelo usuário.

     

   Nota

   • Para adicionar uma conta de armazenamento secundária com o Data Lake Storage Gen2, no nível da conta de armazenamento, basta atribuir a identidade gerenciada criada anteriormente ao novo Data Lake Storage Gen2 que você deseja adicionar. Esteja ciente de que não há suporte para adicionar uma conta de armazenamento secundária com o Data Lake Storage Gen2 por meio da folha "Contas de armazenamento adicionais" no HDInsight.
   • Você pode habilitar RA-GRS ou RA-ZRS na conta de armazenamento de Blob do Azure usada pelo HDInsight. No entanto, não há suporte para a criação de um cluster no ponto de extremidade secundário RA-GRS ou RA-ZRS.
   • O HDInsight não oferece suporte à configuração do Data Lake Storage Gen2 como armazenamento com redundância de zona geográfica de acesso de leitura (RA-GZRS) ou armazenamento com redundância de zona geográfica (GZRS).

Eliminar o cluster

Consulte Excluir um cluster HDInsight usando seu navegador, PowerShell ou a CLI do Azure.

Resolver problemas

Caso se depare com problemas com a criação de clusters do HDInsight, veja aceder aos requisitos de controlo.

Próximos passos

Você criou com êxito um cluster HDInsight. Agora saiba como trabalhar com seu cluster.

Clusters do Apache Spark

• Personalizar clusters HDInsight baseados em Linux usando ações de script
• Criar uma aplicação autónoma com o Scala
• Executar trabalhos remotamente em um cluster Apache Spark usando o Apache Livy
• Apache Spark com BI: execute análise de dados interativa usando o Spark no HDInsight com ferramentas de BI
• Apache Spark com Machine Learning: use o Spark no HDInsight para prever resultados de inspeção de alimentos

Clusters Apache Hadoop

• Usar o Apache Hive com o HDInsight
• Usar o MapReduce com o HDInsight

Clusters Apache HBase

• Introdução ao Apache HBase no HDInsight
• Desenvolver aplicativos Java para Apache HBase no HDInsight