Werken in het Apache Hadoop-ecosysteem in HDInsight vanaf een Windows-pc
Meer informatie over ontwikkel- en beheeropties op de Windows-pc voor het werken in het Apache Hadoop-ecosysteem in HDInsight.
HDInsight is gebaseerd op Apache Hadoop- en Hadoop-onderdelen, opensourcetechnologieën die zijn ontwikkeld in Linux. HDInsight versie 3.4 en hoger maakt gebruik van de Ubuntu Linux-distributie als het onderliggende besturingssysteem voor het cluster. U kunt echter met HDInsight werken vanuit een Windows-client of Windows-ontwikkelomgeving.
PowerShell gebruiken voor implementatie- en beheertaken
Azure PowerShell is een scriptomgeving die u kunt gebruiken voor het beheren en automatiseren van implementatie- en beheertaken in HDInsight vanuit Windows.
Voorbeelden van taken die u kunt uitvoeren met PowerShell:
- Clusters maken met Behulp van PowerShell.
- Apache Hive-query's uitvoeren met behulp van PowerShell.
- Clusters beheren met PowerShell.
Volg de stappen voor het installeren en configureren van Azure PowerShell om de nieuwste versie op te halen.
Hulpprogramma's die u in een browser kunt uitvoeren
De volgende hulpprogramma's hebben een webgebruikersinterface die wordt uitgevoerd in een browser:
Azure Cloud Shell is een interactieve opdrachtregelshell die wordt uitgevoerd in uw browser en vanuit Azure Portal.
De Apache Ambari-webinterface is een hulpprogramma voor beheer en bewaking dat beschikbaar is in Azure Portal die kan worden gebruikt voor het beheren van verschillende soorten taken, zoals:
Voordat u naar de volgende voorbeelden gaat, installeert en probeert u Data Lake Tools voor Visual Studio.
Visual Studio en de .NET SDK
U kunt Visual Studio gebruiken met de .NET SDK om clusters te beheren en big data-toepassingen te ontwikkelen. U kunt andere IDE's gebruiken voor de volgende taken, maar voorbeelden worden weergegeven in Visual Studio.
Voorbeelden van taken die u kunt uitvoeren met de .NET SDK in Visual Studio:
- Azure HDInsight SDK voor .NET.
- Voer Apache Hive-query's uit met behulp van de .NET SDK.
- Gebruik door de gebruiker gedefinieerde C#-functies met Apache Hive en Apache Pig-streaming op Apache Hadoop.
IntelliJ IDEA en Eclipse IDE voor Spark-clusters
Zowel IntelliJ IDEA als de Eclipse IDE kunnen worden gebruikt voor het volgende:
- Een Scala Spark-toepassing ontwikkelen en verzenden in een HDInsight Spark-cluster.
- Toegang tot Spark-clusterbronnen.
- Ontwikkel een Scala Spark-toepassing en voer deze lokaal uit.
In deze artikelen wordt uitgelegd hoe:
- IntelliJ IDEA: Apache Spark-toepassingen maken met behulp van de Azure Toolkit voor IntelliJ-invoegtoepassing en de Scala SDK.
- Eclipse IDE of Scala IDE voor Eclipse: Apache Spark-toepassingen en de Azure-toolkit voor Eclipse maken
Notebooks in Spark voor gegevenswetenschappers
Apache Spark-clusters in HDInsight bevatten Apache Zeppelin-notebooks en kernels die kunnen worden gebruikt met Jupyter Notebooks.
- Meer informatie over het gebruik van kernels in Apache Spark-clusters met Jupyter Notebooks om Spark-toepassingen te testen
- Meer informatie over het gebruik van Apache Zeppelin-notebooks in Apache Spark-clusters om Spark-taken uit te voeren
Hulpprogramma's en technologieën op basis van Linux uitvoeren in Windows
Als u een situatie tegenkomt waarin u een hulpprogramma of technologie moet gebruiken die alleen beschikbaar is in Linux, kunt u de volgende opties overwegen:
- Bash op Ubuntu in Windows 10 biedt een Linux-subsysteem in Windows. Met Bash kunt u Linux-hulpprogramma's rechtstreeks uitvoeren zonder dat u een toegewezen Linux-installatie hoeft te onderhouden. Zie Installatiehandleiding voor Windows 10 voor Windows-subsysteem voor Linux voor installatiestappen. Andere Unix-shells werken ook.
- Docker voor Windows biedt toegang tot veel linux-hulpprogramma's en kan rechtstreeks vanuit Windows worden uitgevoerd. U kunt docker bijvoorbeeld gebruiken om de Beeline-client voor Hive rechtstreeks vanuit Windows uit te voeren. U kunt Docker ook gebruiken om een lokaal Jupyter Notebook uit te voeren en extern verbinding te maken met Spark in HDInsight. Aan de slag met Docker voor Windows
- Met MobaXTerm kunt u grafisch door het clusterbestandssysteem bladeren via een SSH-verbinding.
Platformoverschrijdende hulpprogramma's
De Azure-opdrachtregelinterface (CLI) is de platformoverschrijdende opdrachtregelervaring voor het beheren van Azure-resources. Zie De Azure-opdrachtregelinterface (CLI) voor meer informatie.
Volgende stappen
Zie de volgende artikelen als u nog niet eerder met Linux-clusters werkt: