Een lab instellen voor big data-analyses in Azure Lab Services met behulp van Docker-implementatie van HortonWorks Data Platform
Belangrijk
Azure Lab Services wordt op 28 juni 2027 buiten gebruik gesteld. Zie de handleiding voor buitengebruikstelling voor meer informatie.
Notitie
Dit artikel verwijst naar functies die beschikbaar zijn in labplannen, waardoor labaccounts zijn vervangen.
In dit artikel leest u hoe u een lab instelt om een analyseklasse voor big data te leren. Een analyseklasse voor big data leert gebruikers hoe ze grote hoeveelheden gegevens kunnen verwerken. Het leert ze ook hoe ze machine- en statistische learning-algoritmen toepassen om gegevensinzichten af te leiden. Een belangrijk doel is om te leren hoe u hulpprogramma's voor gegevensanalyse gebruikt, zoals het opensource-softwarepakket van Apache Hadoop. Het softwarepakket biedt hulpprogramma's voor het opslaan, beheren en verwerken van big data.
In dit lab werken labgebruikers met een populaire commerciële versie van Hadoop, geleverd door Cloudera, genaamd Hortonworks Data Platform (HDP). Labgebruikers gebruiken met name HDP Sandbox 3.0.1 , een vereenvoudigde, gebruiksvriendelijke versie van het platform. HDP Sandbox 3.0.1 is ook gratis en is bedoeld voor leren en experimenteren. Hoewel deze klasse virtuele Windows- of Linux-machines (VM) kan gebruiken met HDP Sandbox geïmplementeerd. In dit artikel leest u hoe u Windows gebruikt.
Een ander interessant aspect is dat u de HDP-sandbox implementeert op de lab-VM's met behulp van Docker-containers . Elke Docker-container biedt een eigen geïsoleerde omgeving voor softwaretoepassingen die binnen kunnen worden uitgevoerd. Conceptueel zijn Docker-containers vergelijkbaar met geneste VM's en kunnen worden gebruikt om eenvoudig een groot aantal softwaretoepassingen te implementeren en uit te voeren op basis van containerinstallatiekopieën die op Docker Hub worden geleverd. Met het implementatiescript van Cloudera voor HDP Sandbox wordt automatisch de Docker-installatiekopie van HDP Sandbox 3.0.1 opgehaald uit Docker Hub en worden twee Docker-containers uitgevoerd:
- sandbox-hdp
- sandbox-proxy
Vereisten
Als u dit lab wilt instellen, hebt u toegang nodig tot een Azure-abonnement. Neem contact op met de beheerder van uw organisatie om te zien of u toegang krijgt tot een bestaand Azure-abonnement. Als u geen Azure-abonnement hebt, maakt u een gratis account voordat u begint.
Labconfiguratie
Instellingen voor labplannen
Nadat u een Azure-abonnement hebt, kunt u een labplan maken in Azure Lab Services. Zie quickstart: Resources instellen om labs te maken voor meer informatie over het maken van een nieuw labplan. U kunt ook een bestaand labplan gebruiken.
In dit lab worden windows 10 Pro Azure Marketplace-installatiekopieën gebruikt als basis-VM-installatiekopieën. U moet deze installatiekopieën eerst inschakelen in uw labplan. Hiermee kunnen labmakers de installatiekopieën vervolgens selecteren als basisinstallatiekopieën voor hun lab.
Volg deze stappen om deze Azure Marketplace-installatiekopieën in te schakelen die beschikbaar zijn voor labmakers. Selecteer een van de Windows 10 Azure Marketplace-installatiekopieën.
Labinstellingen
Maak een lab voor uw labplan. Zie Zelfstudie: Een lab instellen voor instructies voor het maken van een lab. Gebruik de volgende instellingen bij het maken van het lab.
| Labinstellingen | Waarde/instructies |
|---|---|
| Grootte van de virtuele machine | Gemiddeld (geneste virtualisatie). Deze VM-grootte is het meest geschikt voor relationele databases, in-memory caching en analyses. De grootte ondersteunt ook geneste virtualisatie. |
| VM-installatiekopie | Windows 10 Pro |
Notitie
Gebruik de VM-grootte normaal (geneste virtualisatie) omdat voor de HDP-sandbox met Docker Windows Hyper-V is vereist met geneste virtualisatie en ten minste 10 GB RAM-geheugen.
Configuratie van sjablooncomputer
De sjabloonmachine instellen:
- Docker installeren
- HDP-sandbox implementeren
- PowerShell en Windows Task Scheduler gebruiken om de Docker-containers automatisch te starten
Docker installeren
De stappen in deze sectie zijn gebaseerd op de instructies van Cloudera voor het implementeren met Docker-containers.
Als u Docker-containers wilt gebruiken, moet u Eerst Docker Desktop installeren op de sjabloon-VM:
Volg de stappen in de sectie Vereisten om Docker voor Windows te installeren.
Belangrijk
Zorg ervoor dat de configuratieoptie Windows-containers gebruiken in plaats van de configuratieoptie Voor Linux-containers uitgeschakeld blijft.
Zorg ervoor dat Windows-containers en Hyper-V-functies zijn ingeschakeld.
Volg de stappen in de sectie Geheugen voor Windows om de geheugenconfiguratie van Docker te configureren.
Waarschuwing
Als u per ongeluk de optie Windows-containers gebruiken controleert in plaats van de optie Linux-containers bij het installeren van Docker, ziet u de instellingen voor de geheugenconfiguratie niet. U kunt dit oplossen door over te schakelen naar Linux-containers door op het Docker-pictogram in het Systeemvak van Windows te klikken. Wanneer het menu Docker Desktop wordt geopend, selecteert u Overschakelen naar Linux-containers.
HDP-sandbox implementeren
Implementeer vervolgens HDP Sandbox en open vervolgens HDP Sandbox met behulp van de browser.
Zorg ervoor dat u Git Bash hebt geïnstalleerd zoals vermeld in de sectie Vereisten van de handleiding. Het is raadzaam om de volgende stappen uit te voeren.
Voer de stappen in de volgende secties uit met behulp van de implementatie- en installatiehandleiding van Cloudera voor Docker:
- HDP-sandbox implementeren
- HDP-sandbox controleren
Waarschuwing
Wanneer u het meest recente .zip-bestand voor HDP downloadt, moet u ervoor zorgen dat u het .zip bestand niet opslaat in een mappad dat witruimte bevat.
Notitie
Als u een uitzondering ontvangt tijdens de implementatie waarin staat dat Station niet is gedeeld, moet u uw C-station delen met Docker, zodat de Linux-containers van HDP toegang hebben tot lokale Windows-bestanden. U kunt dit oplossen door op het Docker-pictogram in het Systeemvak van Windows te klikken om het menu Docker Desktop te openen en Instellingen te selecteren. Wanneer het dialoogvenster Instellingen van Docker wordt geopend, selecteert u Resources voor het delen van bestanden > en controleert u het C-station. U kunt vervolgens de stappen herhalen om HDP Sandbox te implementeren.
Wanneer de Docker-containers voor HDP Sandbox zijn geïmplementeerd en uitgevoerd, hebt u toegang tot de omgeving door uw browser te starten. Volg de instructies van Cloudera voor het openen van de welkomstpagina van de sandbox en het starten van het HDP-dashboard.
Notitie
In deze instructies wordt ervan uitgegaan dat u eerst het lokale IP-adres van de sandbox-omgeving hebt toegewezen aan het sandbox-hdp.hortonworks.com in het hostbestand op uw sjabloon-VM. Als u deze toewijzing niet uitvoert, hebt u toegang tot de welkomstpagina van de sandbox door naar
http://localhost:8080.
Docker-containers automatisch starten wanneer labgebruikers zich aanmelden
Als u een gebruiksvriendelijke ervaring wilt bieden voor labgebruikers, maakt u een PowerShell-script dat automatisch wordt gebruikt:
- Start de HDP Sandbox Docker-containers wanneer een labgebruiker wordt gestart en verbinding maakt met hun lab-VM.
- Hiermee start u de browser en gaat u naar de welkomstpagina van de sandbox.
Gebruik Windows Task Scheduler om dit script automatisch uit te voeren wanneer een labgebruiker zich aanmeldt bij de VM. Voer de volgende stappen uit om een Task Scheduler in te stellen: Big Data Analytics-scripts.
Conclusie
In dit artikel hebt u de stappen doorlopen die nodig zijn om een lab te maken voor een analyseklasse voor big data. De analyseklasse voor big data maakt gebruik van het Hortonworks Data Platform dat is geïmplementeerd met Docker. De installatie voor dit klassetype kan worden gebruikt voor vergelijkbare gegevensanalyseklassen. Deze installatie kan ook van toepassing zijn op andere typen klassen die Docker gebruiken voor implementatie.
Volgende stappen
De sjabloonafbeelding kan nu worden gepubliceerd naar het lab. Zie De sjabloon-VM publiceren voor meer informatie.
Zie de volgende artikelen tijdens het instellen van uw lab: