Configurar um laboratório para análise de Big Data no Azure Lab Services usando a implantação do Docker da plataforma de dados HortonWorks
Importante
O Azure Lab Services será desativado em 28 de junho de 2027. Para obter mais informações, confira o guia de desativação.
Observação
Este artigo referencia os recursos disponíveis nos planos de laboratório, que substituíram as contas de laboratório.
Este artigo mostra como configurar um laboratório para dar uma aula sobre análise de Big Data. Uma aula de análise de Big Data ensina os usuários a lidar com grandes volumes de dados. Ela também ensina a aplicar algoritmos de aprendizado de máquina e estatística para derivar insights de dados. Um objetivo fundamental é aprender a usar as ferramentas de análise de dados, como o pacote de software livre do Apache Hadoop. O pacote de software fornece ferramentas para armazenar, gerenciar e processar Big Data.
Neste laboratório, os usuários do laboratório trabalham com uma versão comercial popular do Hadoop fornecida pelo Cloudera, chamada HDP (plataforma de dados HortonWorks). Especificamente, os usuários do laboratório usam o HDP Sandbox 3.0.1 que é uma versão simplificada e fácil de utilização da plataforma. O HDP Sandbox 3.0.1 também é gratuito e destinado ao aprendizado e a experimentos. Embora essa aula possa usar VMS (máquinas virtuais) do Windows ou Linux com o HDP Sandbox implantado. Este artigo mostra como usar o Windows.
Outro aspecto interessante é que você implanta o HDP Sandbox nas VMs do laboratório usando contêineres do Docker. Cada contêiner do Docker fornece seu próprio ambiente isolado para que os aplicativos de software sejam executados internamente. De maneira conceitual, os contêineres do Docker são como VMs aninhadas e podem ser usados para implantar e executar facilmente uma ampla variedade de aplicativos de software com base em imagens de contêiner fornecidas no Docker Hub. O script de implantação do Cloudera para a área restrita da HDP obtém automaticamente a imagem do Docker da Área restrita da HDP 3.0.1 do Docker Hub e executa dois contêineres do Docker:
- sandbox-hdp
- sandbox-proxy
Pré-requisitos
Para configurar este laboratório, você precisa de acesso a uma assinatura do Azure. Discuta com o administrador da sua organização para ver se você pode obter acesso a uma assinatura do Azure existente. Se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.
Configuração do laboratório
Configurações do plano de laboratório
Depois de ter uma assinatura do Azure, você poderá criar um plano de laboratório no Azure Lab Services. Para obter mais informações sobre como criar um novo plano de laboratório, consulte Início Rápido: Configurar recursos para criar laboratórios. Você também pode usar um plano de laboratório existente.
Este laboratório usa imagens do Azure Marketplace do Windows 10 Pro como a imagem base da VM. Inicialmente, habilite essas imagens no plano de laboratório. Isso permite que os criadores de laboratório selecionem a imagem como uma imagem base para o laboratório.
Siga estas etapas para habilitar essas imagens do Azure Marketplace disponíveis para criadores de laboratório. Selecione uma das imagens do Azure Marketplace do Windows 10.
Configurações do laboratório
Crie um laboratório para seu plano de laboratório. Para saber como criar um laboratório, confira Tutorial: configurar um laboratório. Use as seguintes configurações ao criar o laboratório.
| Configurações do laboratório | Valor/instruções |
|---|---|
| Tamanho da Máquina Virtual | Médio (virtualização aninhada). Este tamanho de VM é mais adequado para bancos de dados relacionais, cache na memória e análise. O tamanho também dá suporte à virtualização aninhada. |
| Imagem de máquina virtual | Windows 10 Pro |
Observação
Use o tamanho médio da VM (virtualização aninhada) porque o HDP Sandbox usando o Docker requer Windows Hyper-V com virtualização aninhada e pelo menos 10 GB de RAM.
Configuração de computador modelo
Para configurar o computador modelo:
- Instalar o Docker
- Implantar a área restrita da HDP
- Usar o PowerShell e o Agendador de Tarefas do Windows para iniciar automaticamente os contêineres do Docker
Instalar o Docker
As etapas nesta seção são baseadas nas Instruções do Cloudera para a implantação com contêineres do Docker.
Para usar contêineres do Docker, primeiro você deve instalar o Docker Desktop na VM do modelo:
Siga as etapas na Seção pré-requisitos para instalar o Docker para CE do Windows.
Importante
Verifique se a opção de configuração Usar contêineres do Windows em vez de contêineres do Linux está desmarcada.
Verifique se os Contêineres do Windows e os recursos do Hyper-V estão ativados.
Siga as etapas na seção Memória para Windows para definir a configuração de memória do Docker.
Aviso
Se você marcar inadvertidamente a opção Usar contêineres do Windows em vez de contêineres do Linux ao instalar o Docker, você não verá as definições de configuração de memória. Para corrigir isso, você pode alternar para o uso de contêineres do Linux clicando no ícone do Docker na bandeja do Sistema Windows. Quando o menu do Docker Desktop abrir, selecione Alternar para contêineres do Linux.
Implantar a área restrita da HDP
Em seguida, implante a área restrita da HDP e acesse o HDP Sandbox usando o navegador.
Verifique se você instalou o Git bash, conforme listado na seção pré-requisitos do guia. É recomendável concluir as próximas etapas.
Usando o Guia de implantação e instalação do Cloudera para o Docker, conclua as etapas nas seções a seguir:
- Implantar a área restrita da HDP
- Verificar a área restrita da HDP
Aviso
Ao baixar o arquivo .zip mais recente para a HDP, certifique-se de não salvar o arquivo .zip em um caminho de diretório que inclua espaço em branco.
Observação
Se você receber uma exceção durante a implantação informando que a Unidade não foi compartilhada, você precisará compartilhar sua unidade C com o Docker para que os contêineres do Linux da HDP possam acessar arquivos locais do Windows. Para corrigir isso, clique no ícone do Docker na bandeja do Sistema Windows para abrir o menu do Docker Desktop e selecione Configurações. Quando a caixa de diálogo Configurações do Docker abrir, selecione Recursos > Compartilhamento de arquivos e verifique a unidade C. Em seguida, você pode repetir as etapas para implantar a área restrita da HDP.
Quando os contêineres do Docker para o HDP Sandbox são implantados e estão sendo executados, você consegue acessar o ambiente inicializando seu navegador. Siga as instruções do Cloudera para abrir a Página de Boas-Vindas da Área Restrita e iniciar o Painel do HDP.
Observação
Essas instruções consideram que você primeiro mapeou o endereço IP local do ambiente de área restrita para sandbox-hdp.hortonworks.com no arquivo de host na sua VM de modelo. Se você não fizer esse mapeamento, poderá acessar a página de Boas-vindas da Área restrita navegando até
http://localhost:8080.
Iniciar automaticamente os contêineres do Docker quando os usuários do laboratório entrarem
Para fornecer uma experiência fácil de usar para usuários do laboratório, crie um script do PowerShell que automaticamente:
- Inicia os contêineres do Docker da área restrita da HDP quando um usuário do laboratório inicia e se conecta a sua VM do laboratório.
- Inicia o navegador e navegue para a página inicial da área restrita.
Use o Agendador de Tarefas do Windows para executar esse script automaticamente quando um usuário do laboratório fizer logon em sua VM. Para configurar um Agendador de Tarefas, siga estas etapas: Script de Análise de Big Data.
Conclusão
Este artigo descreveu as etapas necessárias para criar um laboratório para uma aula sobre análise de Big Data. A classe de análise de Big Data usa p Hortonworks Data Platform implantado com o Docker. A configuração para esse tipo de aula pode ser usada para aulas sobre análises de dados semelhantes. Essa configuração também pode ser aplicável a outros tipos de aulas que usam o Docker para implantação.
Próximas etapas
A imagem de modelo agora pode ser publicada no laboratório. Para obter mais informações, confira Publicar a VM de modelo.
Ao configurar o laboratório, consulte os seguintes artigos: