Exercício - Provisionar o HDInsight para executar análises adhoc

  • 10 minutos

Agora que sabemos sobre os benefícios do Interactive Query e como ele funciona, é hora de começar a implantar recursos para construir nosso painel imobiliário.

Antes de criar um cluster de Consulta Interativa

Antes de criar um cluster, você precisa de uma assinatura do Azure e de uma conta de armazenamento do Azure. O Armazenamento do Azure é uma solução robusta de armazenamento de uso geral que se integra perfeitamente ao HDInsight. O HDInsight pode utilizar um contentor de blobs no Armazenamento do Azure como o sistema de ficheiros predefinido para o cluster. É recomendável usar contêineres de armazenamento separados para o armazenamento de cluster padrão e os dados corporativos, para isolar os logs do HDInsight e os arquivos temporários dos seus próprios dados corporativos.

A Consulta Interativa também pode usar o Azure Data Lake Storage Gen1 ou o Azure Data Lake Storage Gen2, conforme discutido no Módulo 1: Como funciona o HDInsight, no entanto, apenas o Armazenamento do Azure e o Azure Data Lake Storage Gen2 oferecem suporte ao Hive LLAP. Este procedimento usa o Armazenamento do Azure.

Onde criar um cluster de Consulta Interativa

Depois de ter certeza de que um cluster de Consulta Interativa é o melhor tipo de cluster para sua solução, você pode criar os clusters em vários locais: portal do Azure, CLI do Azure, Azure PowerShell, cURL, modelos do Azure Resource Manager, SDK do HDInsight .NET e até mesmo usar o Azure Data Factory para criar clusters sob demanda. Este procedimento usa o portal do Azure para implantar um cluster de Consulta Interativa.

Provisionar uma conta de armazenamento no portal do Azure

O primeiro recurso a ser implantado, caso você ainda não tenha um, é uma conta de Armazenamento do Azure.

  1. Entre no portal do Azure usando sua assinatura gratuita.

  2. Clique em Criar uma conta de armazenamento de > recursos>.

    Criar uma Solução de Consulta Interativa do HDInsight no portal do Azure.

  3. Na página Noções básicas, preencha os seguintes valores:

    • Subscrição: certifique-se de que a sua subscrição gratuita está selecionada.
    • Grupo de recursos: clique em Criar novo e, em seguida, nomeie-o hdinsightmodule6uid, onde uid é um identificador exclusivo para você.
    • Nome da conta de armazenamento: digite hdinsightmodule6uid.
    • Localização: selecione o local mais próximo de seus usuários para reduzir a latência. Observe essa região, pois você criará o cluster HDInsight na mesma região.
    • Desempenho: Deixe o padrão de Padrão.
    • Tipo de conta: Deixe o padrão de StorageV2 (uso geral v2)
    • Replicação: altere o valor para LRS (armazenamento com redundância local)
    • Camada de acesso (padrão): deixe o valor padrão de Hot.

  4. Clique em Next: Networking.

    Guia Noções básicas do HDInsight no portal do Azure.

  5. Na página Rede, deixe o método de conectividade de Ponto de extremidade público (todas as redes) e clique em Avançar: Avançado >.

    Guia Rede HDInsight no portal do Azure.

  6. Na página Avançado, preencha os seguintes valores:

    • Segurança: Deixe o valor padrão de Enabled.
    • Arquivos do Azure: Deixe o valor padrão de Desabilitado
    • Proteção de dados: deixe o valor padrão de Desativado.
    • Data Lake Storage Gen2: Deixe o valor padrão de Desabilitado para criar uma conta de armazenamento de Blob e clique em Revisar + criar >.

  7. Na página Criar conta de armazenamento, verifique se o tipo de conta está definido como StorageV2 (finalidade geral v2) e clique em Criar.

    Tela de revisão do HDInsight no portal do Azure.

  8. Quando a implantação for concluída, a seguinte mensagem será exibida:

    Captura de tela que mostra a página de visão geral da Conta de Armazenamento da Microsoft, informando que sua implantação foi concluída.

Agora que sua conta de armazenamento foi criada, é hora de implantar os clusters de Consulta Interativa do HDInsight.

Provisionar um cluster de Consulta Interativa do HDInsight

  1. Clique em Criar um recurso > Analytics > Azure HDInsight.

    Captura de ecrã que mostra o portal do Azure com Criar um recurso, Analytics e Azure H D Insight realçados.

  2. Na página Noções básicas, clique em Ir para a experiência de criação clássica.

    Captura de ecrã que mostra a página Noções básicas com Ir para a experiência de criação clássica realçada.

  3. Na página HDInsight, clique em Personalizado (tamanho, configurações, aplicativos).

    Captura de ecrã que mostra a página H D Insight com Personalizado realçado.

  4. Na página Noções básicas, preencha os seguintes valores:

    • Nome do cluster: insira um nome exclusivo para o cluster, como mslearnmodule6uid. Uma marca de seleção verde aparecerá ao lado do nome se o nome do cluster for validado e estiver disponível.
    • Subscrição: certifique-se de que a sua subscrição gratuita está selecionada.
    • Tipo de Cluster: Clique em Definir configurações necessárias e, na caixa Tipo de cluster, selecione Consulta Interativa e, na caixa Versão, selecione Consulta Interativa 3.1.0 (HDI 4.0).
    • Nome de usuário de login do cluster: Deixe o valor padrão de admin
    • Palavra-passe de início de sessão do cluster: introduza uma palavra-passe para o início de sessão do cluster.
    • Nome de usuário do Secure Shell (SSH): Deixe o valor padrão de sshuser.
    • Grupo de Recursos: Selecione o grupo de recursos criado anteriormente, mslearnmodule6yourid.
    • Local: selecione a mesma região em que sua conta de armazenamento foi criada.

  5. Em seguida, clique em Seguinte.

    A captura de tela mostra as páginas de configuração H D Insight, Basics e Cluster com vários campos realçados.

  6. Na página Segurança + rede, clique em Avançar.

  7. Na página Armazenamento, preencha os seguintes valores:

    • Tipo de armazenamento principal: verifique se o valor padrão do Armazenamento do Azure está selecionado.
    • Selecione uma conta de armazenamento, clique em Definir configurações necessárias.
    • Na página Contas de armazenamento, procure o nome da conta de armazenamento que você criou, mslearnmodule6uid, e selecione-o.

  8. Deixe todos os outros valores como padrão e clique em Avançar.

    A página de armazenamento no portal do Azure.

  9. Na página Aplicativos (opcional), clique em Avançar.

  10. Na página Tamanho do cluster, clique em Avançar.

  11. Na página Ações de script, clique em Opcional e, em seguida, clique em Enviar novo.

  12. Na página Enviar ação de script, preencha os seguintes valores:

  13. E, em seguida, clique em Criar.

    A página de ações de script no portal do Azure.

  14. Após a conclusão da validação na página Ações de script, clique em Selecionar e, em seguida, clique em Avançar.

  15. Na página Resumo do cluster, após a conclusão da validação, verifique se o tipo de cluster está definido como Consulta Interativa 3.1 (HDI 4.0) e clique em Criar.

    A página de resumo do HDInsight no portal do Azure.

  16. Clique no ícone Notificação para observar o progresso da implantação.

    A notificação de implantação em andamento no portal do Azure.

    Quando a implantação for bem-sucedida, a mensagem será alterada para Implantação bem-sucedida.

  17. Clique em Ir para recurso no painel Notificações.

    A tela de implantação bem-sucedida do HDInsight no portal do Azure.

  18. É exibida a página Visão geral do cluster HDInsight, que contém informações sobre o cluster e fornece links para ferramentas e relatórios úteis. Você pode adicionar esse recurso ao seu painel clicando no botão de fixação.

    A tela de visão geral do HDInsight no portal do Azure.