Otwieranie notesu Jupyter w klastrze HDInsight Spark
Po utworzeniu klastra SPARK usługi HDInsight można uruchamiać interakcyjne zapytania Spark SQL lub zadania względem klastra Apache Spark w usłudze Azure HDInsight. Aby to zrobić, należy najpierw utworzyć notes. Notes to interaktywny edytor, który umożliwia inżynierowie danych i badacze dancyh korzystanie z wielu języków do interakcji z danymi. Może to obejmować języki Python, SQL, Scala i inne. Usługa HDInsight obsługuje rozwiązania Jupyter, Zeppelin i Livy w celu interakcji z danymi. Poziom interakcji zależy od obciążenia, którym zarządzasz.
Platforma Apache Spark w usłudze HDInsight obsługuje następujące obciążenia:
Interakcyjna analiza danych i analiza biznesowa
Notes umożliwia pozyskiwanie danych nieustrukturyzowanych/częściowo ustrukturyzowanych, a następnie definiowanie schematu w notesie. Następnie możesz użyć schematu, aby utworzyć model w narzędziach, takich jak usługa Power BI, która umożliwi użytkownikom biznesowym przeprowadzanie analizy danych na danych w notesie
Spark Machine Learning
Możesz użyć notesu do pracy z biblioteką MLlib (biblioteką uczenia maszynowego utworzoną na platformie Spark) w celu utworzenia aplikacji uczenia maszynowego
Przesyłanie strumieniowe i analiza danych w czasie rzeczywistym na platformie Spark
Klastry Spark w usłudze HDInsight zapewniają szeroką obsługę tworzenia rozwiązań do analizy w czasie rzeczywistym. Platforma Spark ma już łączniki do pozyskiwania danych z wielu źródeł, takich jak Kafka, Flume, X, ZeroMQ lub TCP sockets, platforma Spark w usłudze HDInsight dodaje najwyższej klasy obsługę pozyskiwania danych z usługi Azure Event Hubs.
Tworzenie notesu Jupyter
Wykonaj poniższe kroki, aby utworzyć notes Jupyter w witrynie Azure Portal.
W portalu w sekcji Pulpity nawigacyjne klastra wybierz pozycję Notes Jupyter Notebook. Jeśli zostanie wyświetlony monit, wprowadź poświadczenia logowania klastra dla klastra.
Wybierz pozycję Nowy > PySpark , aby utworzyć notes.
Zostanie utworzony i otwarty nowy notes o nazwie Untitled (Untitled.pynb), która umożliwia rozpoczęcie tworzenia zadań wykonuje zapytania