Configurare un lab per l'analisi dei Big Data in Azure Lab Services usando la distribuzione Docker di HortonWorks Data Platform
Importante
Azure Lab Services verrà ritirato il 28 giugno 2027. Per altre informazioni, vedere la guida al ritiro.
Nota
Questo articolo fa riferimento alle funzionalità disponibili nei piani lab, che hanno sostituito gli account lab.
Questo articolo illustra come configurare un lab per insegnare a una classe di analisi dei Big Data. Una classe di analisi dei Big Data illustra agli utenti come gestire grandi volumi di dati. Insegna anche loro ad applicare algoritmi di apprendimento automatico e statistico per derivare informazioni dettagliate sui dati. Un obiettivo fondamentale consiste nell'apprendere come usare gli strumenti di analisi dei dati, ad esempio il pacchetto software open source di Apache Hadoop. Il pacchetto software fornisce strumenti per l'archiviazione, la gestione e l'elaborazione di Big Data.
In questo lab gli utenti del lab lavorano con una versione commerciale comune di Hadoop fornita da Cloudera, denominata Hortonworks Data Platform (HDP). In particolare, gli utenti del lab usano HDP Sandbox 3.0.1 che è una versione semplificata e facile da usare della piattaforma. HDP Sandbox 3.0.1 è gratuito ed è destinato all'apprendimento e alla sperimentazione. Anche se questa classe può usare macchine virtuali (VM) Windows o Linux con HDP Sandbox distribuita. Questo articolo illustra come usare Windows.
Un altro aspetto interessante è la distribuzione di HDP Sandbox nelle VM del lab usando contenitori Docker. Ogni contenitore Docker fornisce un proprio ambiente isolato per l'esecuzione di applicazioni software all'interno. Concettualmente, i contenitori Docker sono come VM annidate e possono essere usati per distribuire ed eseguire facilmente un'ampia gamma di applicazioni software basate su immagini contenitore fornite in Docker Hub. Lo script di distribuzione di Cloudera per HDP Sandbox esegue automaticamente il pull dell'immagine HDP Sandbox 3.0.1 Docker da Docker Hub ed esegue due contenitori Docker:
- sandbox-hdp
- sandbox-proxy
Prerequisiti
Per configurare questo lab, è necessario accedere a una sottoscrizione di Azure. Discutere con l'amministratore dell'organizzazione per verificare se è possibile ottenere l'accesso a una sottoscrizione di Azure esistente. Se non si ha una sottoscrizione di Azure, creare un account gratuito prima di iniziare.
Configurazione del lab
Impostazioni del piano lab
Dopo aver creato una sottoscrizione di Azure, è possibile creare un piano lab in Azure Lab Services. Per altre informazioni sulla creazione di un nuovo piano lab, vedere Avvio rapido: Configurare le risorse per creare lab. È anche possibile usare un piano lab esistente.
Questo lab usa immagini di Azure Marketplace di Windows 10 Pro come immagini della macchina virtuale di base. È innanzitutto necessario abilitare questa immagine nel piano lab. In questo modo gli Autori di lab potranno selezionarla come immagine di base per il loro lab.
Seguire la procedura seguente per abilitare queste immagini di Azure Marketplace disponibili per i creatori di lab. Selezionare una delle immagini di Azure Marketplace di Windows 10.
Impostazioni del lab
Creare un lab per il piano lab. Per istruzioni su come creare un lab, vedere Esercitazione: Configurare un lab. Usare le impostazioni seguenti durante la creazione del lab:
| Impostazioni del lab | Valore/istruzioni |
|---|---|
| Dimensioni macchina virtuale | Media (virtualizzazione annidata). Queste dimensioni di VM sono più indicate per database relazionali, memorizzazione nella cache in memoria e analisi. Queste dimensioni supportano anche la virtualizzazione annidata. |
| Immagine di macchina virtuale | Windows 10 Pro |
Nota
Usare la dimensione media (virtualizzazione annidata) perché HDP Sandbox che usa Docker richiede Windows Hyper-V con virtualizzazione annidata e almeno 10 GB di RAM.
Configurazione macchina del modello
Per configurare il computer modello:
- Installare Docker
- Distribuire HDP Sandbox
- Usare PowerShell e Utilità di pianificazione di Windows per avviare automaticamente i contenitori Docker
Installare Docker
I passaggi descritti in questa sezione sono basati sulle istruzioni di Cloudera per la distribuzione con contenitori Docker.
Per usare i contenitori Docker, è prima necessario installare Docker Desktop nella VM modello:
Seguire la procedura illustrata nella sezione Prerequisiti per installare Docker per Windows.
Importante
Assicurarsi che l'opzione di configurazione Usa contenitori Windows anziché contenitori Linux resti non selezionata.
Assicurarsi che i contenitori Windows e le funzionalità di Hyper-V siano attivati.
Seguire la procedura descritta nella sezione Memoria per Windows per configurare la configurazione della memoria di Docker.
Avviso
Se si seleziona inavvertitamente l'opzione Usa contenitori Windows anziché contenitori Linux durante l'installazione di Docker, non verranno visualizzate le impostazioni di configurazione della memoria. Per risolvere questo problema, è possibile passare all'uso di contenitori Linux facendo clic sull'icona Docker nella barra delle applicazioni di Windows; quando è visualizzato il menu Docker Desktop, selezionare Passa a contenitori Linux.
Distribuire HDP Sandbox
Distribuire quindi HDP Sandbox e quindi accedere a HDP Sandbox usando il browser.
Assicurarsi di aver installato Git Bash come indicato nella sezione Prerequisiti della guida. È consigliabile completare i passaggi successivi.
Usando la Guida alla distribuzione e installazione di Docker di Cloudera, completare la procedura descritta nelle sezioni seguenti:
- Distribuire HDP Sandbox
- Verificare HDP Sandbox
Avviso
Quando si scarica il file di .zip più recente per HDP, assicurarsi di non salvare il file .zip in un percorso di directory che include spazi vuoti.
Nota
Se si riceve un'eccezione durante la distribuzione che informa che l'unità non è stata condivisa, è necessario condividere l'unità C con Docker in modo che i contenitori Linux di HDP possano accedere ai file Windows locali. Per risolvere il problema, fare clic sull'icona Docker nella barra delle applicazioni di Windows per aprire il menu di Docker Desktop e selezionare Impostazioni. Quando è visualizzata la finestra di dialogo Impostazioni di Docker, selezionare Risorse > Condivisione di file e selezionare l'unità C. È quindi possibile ripetere i passaggi per distribuire HDP Sandbox.
Quando i contenitori Docker per HDP Sandbox vengono distribuiti e in esecuzione, è possibile accedere all'ambiente avviando il browser. Seguire le istruzioni di Cloudera per aprire la Pagina di benvenuto di Sandbox e avviare il dashboard HDP.
Nota
Queste istruzioni presuppongono che sia stato eseguito il mapping dell'indirizzo IP locale dell'ambiente sandbox al sandbox-hdp.hortonworks.com nel file host nella VM modello. Se non si esegue questo mapping, è possibile accedere alla pagina di benvenuto di Sandbox andando a
http://localhost:8080.
Avviare automaticamente i contenitori Docker quando gli utenti del lab accedono
Per offrire un'esperienza facile da usare per gli utenti del lab, creare uno script di PowerShell che:
- Avvia i contenitori Docker HDP Sandbox all'avvio di un utente del lab e si connette alla VM del lab.
- Avvia il browser e va alla pagina di benvenuto Sandbox.
Usare Utilità di pianificazione di Windows per eseguire automaticamente questo script quando un utente del lab accede alla VM. Per configurare un'utilità di pianificazione, seguire questa procedura: Scripting di Analisi Big Data.
Conclusione
Questo articolo illustra i passaggi necessari per creare un lab per una classe di analisi dei Big Data. La classe di analisi dei Big Data usa Hortonworks Data Platform distribuita con Docker. La configurazione di questo tipo di classe può essere usata per classi di analisi dei dati simili. Questa configurazione può essere applicabile anche ad altri tipi di classi che usano Docker per la distribuzione.
Passaggi successivi
È ora possibile pubblicare l'immagine modello nel lab. Per altre informazioni, vedere Pubblicare il modello di macchina virtuale.
Durante la configurazione del lab, vedere gli articoli seguenti: