Instalowanie i używanie platformy Hue w klastrach hadoop w usłudze HDInsight
Dowiedz się, jak zainstalować platformę Hue w klastrach usługi HDInsight i użyć tunelowania w celu kierowania żądań do platformy Hue.
Uwaga
Funkcja Hue nie jest obsługiwana w usłudze HDInsight w wersji 4.0 lub nowszej.
Co to jest Hue?
Hue to zestaw aplikacji internetowych używanych do interakcji z klastrem Apache Hadoop. Możesz użyć narzędzia Hue, aby przeglądać magazyn skojarzony z klastrem Hadoop (WASB, w przypadku klastrów usługi HDInsight), uruchamiać zadania Hive i skrypty pig itd. Następujące składniki są dostępne w przypadku instalacji hue w klastrze hadoop usługi HDInsight.
- Edytor Hive beeswax
- Apache Pig
- Menedżer magazynu metadanych
- Apache Oozie
- FileBrowser (który komunikuje się z domyślnym kontenerem WASB)
- Przeglądarka zadań
Ostrzeżenie
Składniki dostarczane z klastrem usługi HDInsight są w pełni obsługiwane i pomoc techniczna firmy Microsoft pomogą wyizolować i rozwiązać problemy związane z tymi składnikami.
Składniki niestandardowe otrzymują rozsądną komercyjnie pomoc techniczną, aby ułatwić dalsze rozwiązywanie problemu. Może to spowodować rozwiązanie problemu LUB prośbę o zaangażowanie dostępnych kanałów dla technologii open source, w których znaleziono głęboką wiedzę dotyczącą tej technologii. Na przykład istnieje wiele witryn społeczności, których można używać, takich jak: strona pytań i odpowiedzi firmy Microsoft dla usługi HDInsight, https://stackoverflow.com. Ponadto projekty Apache mają witryny projektu w witrynie https://apache.org, na przykład: Hadoop.
Instalowanie aplikacji Hue przy użyciu akcji skryptu
Skorzystaj z informacji w poniższej tabeli dla akcji skryptu. Aby uzyskać szczegółowe instrukcje dotyczące używania akcji skryptu, zobacz Dostosowywanie klastrów usługi HDInsight za pomocą akcji skryptu.
Uwaga
Aby zainstalować platformę Hue w klastrach usługi HDInsight, zalecany rozmiar węzła głównego to co najmniej A4 (8 rdzeni, 14 GB pamięci).
| Właściwości | Wartość |
|---|---|
| Typ skryptu: | -Niestandardowe |
| Nazwisko | Instalowanie rozwiązania Hue |
| Identyfikator URI skryptu powłoki Bash | https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh |
| Typy węzłów: | Head |
Uruchomienie zapytania programu Hive
W portalu Hue wybierz pozycję Edytor Power Query, a następnie wybierz pozycję Hive, aby otworzyć edytor Hive.
Na karcie Asysta w obszarze Baza danych powinna zostać wyświetlona funkcja hivesampletable. Jest to przykładowa tabela dostarczana ze wszystkimi klastrami Hadoop w usłudze HDInsight. Wprowadź przykładowe zapytanie w okienku po prawej stronie i wyświetl dane wyjściowe na karcie Wyniki w okienku poniżej, jak pokazano na zrzucie ekranu.
Możesz również użyć karty Wykres , aby wyświetlić wizualną reprezentację wyniku.
Przeglądanie magazynu klastra
W portalu Hue wybierz pozycję Przeglądarka plików w prawym górnym rogu paska menu.
Domyślnie przeglądarka plików zostanie otwarta w katalogu /user/myuser . Wybierz ukośnik bezpośrednio przed katalogiem użytkownika w ścieżce, aby przejść do katalogu głównego kontenera usługi Azure Storage skojarzonego z klastrem.
Kliknij prawym przyciskiem myszy plik lub folder, aby wyświetlić dostępne operacje. Użyj przycisku Przekaż w prawym rogu, aby przekazać pliki do bieżącego katalogu. Użyj przycisku Nowy, aby utworzyć nowe pliki lub katalogi.
Uwaga
Przeglądarka plików Hue może wyświetlać tylko zawartość domyślnego kontenera skojarzonego z klastrem usługi HDInsight. Wszystkie dodatkowe konta magazynu/kontenery skojarzone z klastrem nie będą dostępne w przeglądarce plików. Jednak dodatkowe kontenery skojarzone z klastrem będą zawsze dostępne dla zadań Hive. Jeśli na przykład wprowadzisz polecenie dfs -ls wasbs://newcontainer@mystore.blob.core.windows.net w edytorze Hive, zobaczysz również zawartość dodatkowych kontenerów. W tym poleceniu newcontainer nie jest kontenerem domyślnym skojarzonym z klastrem.
Ważne uwagi
Skrypt używany do instalowania aplikacji Hue instaluje go tylko w podstawowym węźle głównym klastra.
Podczas instalacji wiele usług Hadoop (HDFS, YARN, MR2, Oozie) jest ponownie uruchamianych w celu zaktualizowania konfiguracji. Po zakończeniu instalowania skryptu Hue uruchomienie innych usług Hadoop może zająć trochę czasu. Początkowo może to mieć wpływ na wydajność Hue'a. Po uruchomieniu wszystkich usług Hue będzie w pełni funkcjonalny.
Hue nie rozumie zadań Apache Tez, które są obecnie domyślne dla programu Hive. Jeśli chcesz użyć narzędzia MapReduce jako aparatu wykonywania programu Hive, zaktualizuj skrypt, aby użyć następującego polecenia w skrypcie:
set hive.execution.engine=mr;W przypadku klastrów systemu Linux możesz mieć scenariusz, w którym usługi są uruchomione w podstawowym węźle głównym, podczas gdy usługa Resource Manager może być uruchomiona w pomocniczym. Taki scenariusz może spowodować błędy (pokazane poniżej) w przypadku używania hue do wyświetlania szczegółów uruchomionych zadań w klastrze. Można jednak wyświetlić szczegóły zadania po zakończeniu zadania.
Jest to spowodowane znanym problemem. Aby obejść ten problem, zmodyfikuj system Ambari, tak aby aktywny menedżer zasobów był również uruchamiany w podstawowym węźle głównym.
Hue rozumie system plików WebHDFS, podczas gdy klastry usługi HDInsight używają usługi Azure Storage przy użyciu usługi
wasbs://. Dlatego skrypt niestandardowy używany z akcją skryptu instaluje webWasb, która jest usługą zgodną z webHDFS do rozmowy z WASB. Tak więc, mimo że portal Hue mówi HDFS w miejscach (na przykład po przeniesieniu myszy przez przeglądarkę plików), powinien być interpretowany jako WASB.
Następne kroki
Dostosowywanie klastrów usługi HDInsight za pomocą akcji skryptu