Udostępnij za pośrednictwem

Zarządzanie klastrami Apache Hadoop w usłudze HDInsight przy użyciu witryny Azure Portal

  • Artykuł

Za pomocą witryny Azure Portal można zarządzać klastrami Apache Hadoop w usłudze Azure HDInsight. Użyj selektora kart, aby uzyskać informacje na temat zarządzania klastrami Hadoop w usłudze HDInsight przy użyciu innych narzędzi.

Wymagania wstępne

Istniejący klaster Apache Hadoop w usłudze HDInsight. Aby uzyskać więcej informacji, zobacz Tworzenie klastrów opartych na systemie Linux w usłudze HDInsight przy użyciu witryny Azure Portal.

Rozpocznij

Zaloguj się do portalu.

Wyświetlanie i wyświetlanie klastrów

Strona Klastry usługi HDInsight zawiera listę istniejących klastrów. W portalu:

  1. W menu po lewej stronie wybierz pozycję Wszystkie usługi.
  2. W obszarze ANALIZA wybierz pozycję Klastry usługi HDInsight.

Strona główna klastra

Na stronie Klastry usługi HDInsight wybierz nazwę klastra. Zostanie otwarte okienko Przegląd i wygląda podobnie do poniższej ilustracji.

Zrzut ekranu przedstawiający podstawy klastra usługi HDInsight w witrynie Azure Portal.

Menu u góry

Produkt opis
Przesuń Przenosi klaster do innej grupy zasobów lub innej subskrypcji.
Usuń Usuwa klaster.
Odświeżyć Odświeża widok.

Lewe menu

Menu po lewej stronie zawiera wiele sekcji.

Menu w lewym górnym rogu

Produkt opis
Omówienie Podaj ogólne informacje dotyczące klastra.
Dziennik aktywności Pokazywanie dzienników aktywności i wykonywanie zapytań o nie.
Kontrola dostępu (IAM) Użyj przypisań ról. Zobacz Przypisywanie ról platformy Azure do zarządzania dostępem do zasobów subskrypcji platformy Azure.
Tagi Ustaw pary klucz/wartość, aby zdefiniować niestandardową taksonomię usług w chmurze. Możesz na przykład utworzyć klucz o nazwie project, a następnie użyć wspólnej wartości dla wszystkich usług skojarzonych z określonym projektem.
Diagnozowanie i rozwiązywanie problemów Wyświetl informacje dotyczące rozwiązywania problemów.
Szybki start Wyświetlanie informacji ułatwiających rozpoczęcie korzystania z usługi HDInsight.
Narzędzia Informacje pomocy dotyczące narzędzi związanych z usługą HDInsight.

Menu Ustawienia

Produkt opis
Rozmiar klastra Sprawdzanie, zwiększanie i zmniejszanie liczby węzłów roboczych klastra. Zobacz Skalowanie klastrów.
Limity przydziału Wyświetl używane i dostępne rdzenie dla subskrypcji.
Logowanie przy użyciu protokołu SSH i klastra Pokaż instrukcje dotyczące nawiązywania połączenia z klastrem przy użyciu połączenia protokołu Secure Shell (SSH). Aby uzyskać więcej informacji, zobacz Używanie protokołu SSH w usłudze HDInsight.
Azure Data Lake Storage Gen2 Skonfiguruj dostęp do usługi Data Lake Storage Gen2. Zobacz Szybki start: konfigurowanie klastrów w usłudze HDInsight.
Konta magazynu Wyświetl konta magazynu i klucze. Konta magazynu są konfigurowane podczas procesu tworzenia klastra.
Aplikacje Dodawanie lub usuwanie aplikacji usługi HDInsight. Zobacz Instalowanie niestandardowych aplikacji usługi HDInsight.
Akcje skryptu Uruchom skrypty powłoki Bash w klastrze. Zobacz Dostosowywanie klastrów usługi HDInsight opartych na systemie Linux przy użyciu akcji skryptu.
Zewnętrzne magazyny metadanych Wyświetl magazyny metadanych Apache Hive i Apache Oozie. Magazyny metadanych można skonfigurować tylko podczas procesu tworzenia klastra.
Partner usługi HDInsight Dodaj lub usuń bieżącego partnera usługi HDInsight.
Właściwości Wyświetl właściwości klastra.
Blokady Dodaj blokadę, aby uniemożliwić modyfikowanie lub usuwanie klastra.
Eksportowanie szablonu Wyświetlanie i eksportowanie szablonu usługi Azure Resource Manager dla klastra. Obecnie można wyeksportować tylko zależne konto usługi Azure Storage. Zobacz Tworzenie klastrów Apache Hadoop opartych na systemie Linux w usłudze HDInsight przy użyciu szablonów usługi Azure Resource Manager.

Menu Monitorowanie

Produkt opis
Alerty Zarządzanie alertami i akcjami.
Metryki Monitorowanie metryk klastra w dziennikach usługi Azure Monitor.
Ustawienia diagnostyki Ustaw lokalizację, w której mają być przechowywane metryki diagnostyki.
Azure Monitor Monitorowanie klastra w usłudze Azure Monitor.

Menu Pomocy technicznej i rozwiązywania problemów

Produkt opis
Kondycja zasobu Zobacz Omówienie usługi Azure Resource Health.
Nowy wniosek o pomoc techniczną Utwórz bilet pomocy technicznej z pomoc techniczna firmy Microsoft.

Właściwości klastra

Na stronie głównej klastra w obszarze Ustawienia wybierz pozycję Właściwości.

Produkt opis
NAZWA HOSTA Nazwa klastra.
ADRES URL KLASTRA Adres URL interfejsu internetowego systemu Ambari.
Prywatny punkt końcowy Prywatny punkt końcowy klastra.
Bezpieczna powłoka Nazwa użytkownika i nazwa hosta, która ma być używana do uzyskiwania dostępu do klastra za pośrednictwem protokołu SSH.
STAN Jeden z przerwanych, zaakceptowanych, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Deleted, Timeout, DeleteQueued, DeleteTimeout, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued lub ClusterCustomization.
REGION Lokalizacja platformy Azure. Aby uzyskać listę obsługiwanych lokalizacji platformy Azure, zobacz listę rozwijaną Region w cenniku usługi HDInsight.
DATA UTWORZENIA Data wdrożenia klastra.
SYSTEM OPERACYJNY System Windows lub Linux.
TYP Hadoop, HBase lub Spark.
Wersja Zobacz Wersje usługi HDInsight.
Minimalna wersja protokołu TLS Wersja protokołu Transport Layer Security (TLS).
SUBSKRYPCJA Nazwa subskrypcji.
DOMYŚLNE ŹRÓDŁO DANYCH Domyślny system plików klastra.
Rozmiary węzłów roboczych Wybrany rozmiar maszyny wirtualnej węzłów procesu roboczego.
Rozmiar węzła głównego Wybrany rozmiar maszyny wirtualnej węzłów głównych.
Sieć wirtualna Nazwa sieci wirtualnej, w której wdrożono klaster, jeśli został wybrany podczas wdrażania.

Przenoszenie klastrów

Klaster usługi HDInsight można przenieść do innej grupy zasobów platformy Azure lub innej subskrypcji.

Na stronie głównej klastra:

  1. W górnym menu wybierz pozycję Przenieś.

  2. Wybierz pozycję Przenieś do innej grupy zasobów lub Przenieś do innej subskrypcji.

  3. Postępuj zgodnie z instrukcjami na nowej stronie.

Usuwanie klastrów

Usunięcie klastra nie powoduje usunięcia domyślnego konta magazynu ani żadnych połączonych kont magazynu. Klaster można utworzyć ponownie przy użyciu tych samych kont magazynu i tych samych magazynów metadanych. Zalecamy użycie nowego domyślnego kontenera obiektów blob podczas ponownego tworzenia klastra.

Na stronie głównej klastra:

  1. W górnym menu wybierz pozycję Usuń.
  2. Postępuj zgodnie z instrukcjami na nowej stronie.

Aby uzyskać więcej informacji, zobacz Wstrzymaj lub zamknij klastry.

Dodawanie kolejnych kont magazynu

Po utworzeniu klastra można dodać więcej kont usługi Azure Storage i kont usługi Azure Data Lake Storage. Aby uzyskać więcej informacji, zobacz Dodawanie kolejnych kont magazynu do usługi HDInsight.

Skalowanie klastrów

Funkcja skalowania klastra umożliwia zmianę liczby węzłów roboczych używanych przez klaster usługi HDInsight bez konieczności ponownego tworzenia klastra.

Aby uzyskać więcej informacji, zobacz Skalowanie klastrów usługi HDInsight.

Wstrzymywanie lub zamykanie klastrów

Większość zadań hadoop to zadania wsadowe, które są uruchamiane tylko od czasu do czasu. W przypadku większości klastrów Hadoop istnieją duże okresy czasu, w których klaster nie jest używany do przetwarzania. W usłudze HDInsight dane są przechowywane w usłudze Azure Storage, dzięki czemu można bezpiecznie usunąć klaster, gdy nie jest używany. Opłaty są również naliczane za klaster usługi HDInsight, nawet jeśli nie jest używany. Ponieważ opłaty za klaster są wielokrotnie większe niż opłaty za magazyn, warto usunąć klastry, gdy nie są używane.

Proces można programować na wiele sposobów. Możesz użyć:

Aby uzyskać informacje o cenach, zobacz cennik usługi HDInsight. Aby usunąć klaster z portalu, zobacz Usuwanie klastrów.

Uaktualnianie klastrów

Aby uzyskać więcej informacji, zobacz Uaktualnianie klastra usługi HDInsight do nowszej wersji.

Otwieranie internetowego interfejsu użytkownika systemu Apache Ambari

System Ambari udostępnia intuicyjny, łatwy w użyciu internetowy interfejs użytkownika zarządzania platformą Hadoop, który jest wspierany przez interfejsy API RESTful. Dzięki narzędziu Ambari administratorzy systemu mogą zarządzać klastrami Hadoop i monitorować je.

Na stronie głównej klastra:

  1. Wybierz pozycję Pulpity nawigacyjne klastra.

    Zrzut ekranu przedstawiający menu klastra apache Hadoop w usłudze HDInsight.

  2. Na nowej stronie wybierz pozycję Ambari home.

  3. Wprowadź nazwę użytkownika i hasło klastra. Domyślna nazwa użytkownika klastra to administrator.

Aby uzyskać więcej informacji, zobacz Manage HDInsight clusters by using the Apache Ambari web UI (Zarządzanie klastrami usługi HDInsight przy użyciu internetowego interfejsu użytkownika systemu Apache Ambari).

Zmienianie haseł

Klaster usługi HDInsight może mieć dwa konta użytkowników. Konto użytkownika klastra usługi HDInsight (konto użytkownika HTTP) i konto użytkownika SSH są tworzone podczas procesu tworzenia. Za pomocą portalu możesz zmienić hasło konta użytkownika klastra i użyć akcji skryptu, aby zmienić konto użytkownika SSH.

Zmienianie hasła użytkownika klastra

Uwaga

Zmiana hasła użytkownika klastra (administratora) może spowodować niepowodzenie akcji skryptu uruchamianych względem tego klastra. Jeśli masz jakiekolwiek utrwalone akcje skryptu przeznaczone dla węzłów procesu roboczego, te skrypty mogą zakończyć się niepowodzeniem po dodaniu węzłów do klastra za pomocą operacji zmiany rozmiaru. Aby uzyskać więcej informacji na temat akcji skryptu, zobacz Dostosowywanie klastrów usługi HDInsight przy użyciu akcji skryptu.

Na stronie głównej klastra:

  1. W obszarze Ustawienia wybierz pozycję SSH + Logowanie do klastra.
  2. Wybierz pozycję Resetuj poświadczenia.
  3. Wprowadź i potwierdź nowe hasło w polach tekstowych.
  4. Wybierz przycisk OK.

Hasło zmienia się we wszystkich węzłach w klastrze.

Zmienianie hasła użytkownika SSH lub klucza publicznego

  1. Użyj edytora tekstów, aby zapisać następujący tekst jako plik o nazwie changecredentials.sh.

    Ważne

    Musisz użyć edytora, który używa LF jako zakończenia wiersza. Jeśli edytor używa CRLFmetody , skrypt nie działa.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Przekaż plik do lokalizacji magazynu, do której można uzyskać dostęp z usługi HDInsight przy użyciu adresu HTTP lub HTTPS. Przykładem jest publiczny magazyn plików, taki jak OneDrive lub Azure Blob Storage. Zapisz identyfikator URI (adres HTTP lub HTTPS) w pliku. Identyfikator URI jest wymagany w następnym kroku.

  3. Na stronie głównej klastra w obszarze Ustawienia wybierz pozycję Akcje skryptu.

  4. Na stronie Akcje skryptu wybierz pozycję Prześlij nowy.

  5. Na stronie akcji Prześlij skrypt wprowadź informacje w poniższej tabeli.

    Uwaga

    Hasła SSH nie mogą zawierać następujących znaków: " ' / \ < % ~ | $ & ! #

    Pole Wartość
    Typ skryptu Wybierz pozycję — Niestandardowe z listy rozwijanej.
    Nazwa/nazwisko "Zmień poświadczenia SSH".
    Identyfikator URI skryptu powłoki Bash Identyfikator URI do changecredentials.sh pliku.
    Typy węzłów: Head, Worker, Nimbus, Supervisor lub ZooKeeper Wybierz pozycję √ dla wszystkich typów węzłów wymienionych.
    Parametry Wprowadź nazwę użytkownika SSH, a następnie wprowadź nowe hasło. Między nazwą użytkownika a hasłem powinna znajdować się tylko jedna spacja.
    Utrw tę akcję skryptu... Pozostaw to pole wyczyszczysz.

  6. Wybierz pozycję Utwórz , aby zastosować skrypt. Po zakończeniu działania skryptu można nawiązać połączenie z klastrem przy użyciu protokołu SSH z nowymi poświadczeniami.

Znajdowanie identyfikatora subskrypcji

Każdy klaster jest powiązany z subskrypcją platformy Azure. Identyfikator subskrypcji platformy Azure jest widoczny na stronie głównej klastra.

Znajdowanie grupy zasobów

W trybie usługi Resource Manager każdy klaster usługi HDInsight jest tworzony przy użyciu grupy usługi Resource Manager. Grupa usługi Resource Manager jest widoczna na stronie głównej klastra.

Znajdowanie kont magazynu

Klastry usługi HDInsight używają konta usługi Azure Storage lub usługi Data Lake Storage do przechowywania danych. Każdy klaster usługi HDInsight może mieć jedno domyślne konto magazynu i wiele połączonych kont magazynu. Aby wyświetlić listę kont magazynu, na stronie głównej klastra w obszarze Ustawienia wybierz pozycję Konta magazynu.

Monitorowanie zadań

Aby uzyskać więcej informacji, zobacz Manage HDInsight clusters by using the Apache Ambari web UI (Zarządzanie klastrami usługi HDInsight przy użyciu internetowego interfejsu użytkownika systemu Apache Ambari).

Rozmiar klastra

Kafelek Rozmiar klastra na stronie głównejklastra zawiera liczbę rdzeni przydzielonych do tego klastra oraz sposób przydzielania ich dla węzłów w tym klastrze.

Ważne

Aby monitorować usługi udostępniane przez klaster usługi HDInsight, należy użyć internetowego interfejsu użytkownika systemu Ambari lub interfejsu API REST systemu Ambari. Aby uzyskać więcej informacji na temat korzystania z systemu Ambari, zobacz Manage HDInsight clusters by using Apache Ambari (Zarządzanie klastrami usługi HDInsight przy użyciu narzędzia Apache Ambari).

Łączenie z klastrem

Powiązana zawartość

W tym artykule przedstawiono podstawowe funkcje administracyjne. Więcej informacji można znaleźć w następujących artykułach: