Sdílet prostřednictvím

Správa clusterů Apache Hadoop ve službě HDInsight pomocí webu Azure Portal

  • Článek

Pomocí webu Azure Portal můžete spravovat clustery Apache Hadoop ve službě Azure HDInsight. Pomocí selektoru karet můžete použít informace o správě clusterů Hadoop ve službě HDInsight pomocí jiných nástrojů.

Požadavky

Existující cluster Apache Hadoop ve službě HDInsight. Další informace najdete v tématu Vytváření clusterů založených na Linuxu ve službě HDInsight pomocí webu Azure Portal.

Začínáme

Přihlaste se k portálu.

Výpis a zobrazení clusterů

Na stránce clusterů HDInsight se zobrazí seznam existujících clusterů. Na portálu:

  1. V nabídce vlevo vyberte Všechny služby.
  2. V části ANALÝZA vyberte clustery HDInsight.

Domovská stránka clusteru

Na stránce clusterů HDInsight vyberte název vašeho clusteru. Otevře se podokno Přehled a bude vypadat podobně jako na následujícím obrázku.

Snímek obrazovky znázorňující základní informace o clusteru HDInsight na webu Azure Portal

Horní nabídka

Položka Popis
Přesunout Přesune cluster do jiné skupiny prostředků nebo do jiného předplatného.
Odstranění Odstraní cluster.
Osvěžit Aktualizuje zobrazení.

Levá nabídka

V levé nabídce je více oddílů.

Levá horní nabídka

Položka Popis
Přehled Zadejte obecné informace o clusteru.
Protokol aktivit Zobrazení a dotazování protokolů aktivit
Řízení přístupu (IAM) Použijte přiřazení rolí. Viz Přiřazení rolí Azure pro správu přístupu k prostředkům předplatného Azure.
Značky Nastavte páry klíč/hodnota a definujte vlastní taxonomii cloudových služeb. Můžete například vytvořit klíč pojmenovaný projekt a pak použít společnou hodnotu pro všechny služby přidružené ke konkrétnímu projektu.
Diagnóza a řešení problémů Zobrazení informací o řešení potíží
Rychlý start Zobrazení informací, které vám pomůžou začít používat HDInsight.
Nástroje Informace nápovědy pro nástroje související se službou HDInsight

Nabídka Nastavení

Položka Popis
Velikost clusteru Zkontrolujte, zvyšte a snižte počet pracovních uzlů clusteru. Viz Škálování clusterů.
Omezení kvót Zobrazení použitých a dostupných jader pro vaše předplatné
Přihlášení ke clusteru SSH a clusteru Zobrazte pokyny pro připojení ke clusteru pomocí připojení SSH (Secure Shell). Další informace najdete v tématu Použití SSH se službou HDInsight.
Azure Data Lake Storage Gen2 Nakonfigurujte přístup ke službě Data Lake Storage Gen2. Viz Rychlý start: Nastavení clusterů ve službě HDInsight.
Účty úložiště Zobrazte účty úložiště a klíče. Účty úložiště se konfigurují během procesu vytváření clusteru.
Aplikace Přidání nebo odebrání aplikací HDInsight Viz Instalace vlastních aplikací HDInsight.
Akce skriptu Spusťte skripty Bash v clusteru. Viz Přizpůsobení clusterů HDInsight se systémem Linux pomocí akce skriptu.
Externí metastory Prohlédněte si metastory Apache Hive a Apache Oozie . Metastory můžete nakonfigurovat pouze během procesu vytváření clusteru.
Partner SLUŽBY HDInsight Přidejte nebo odeberte aktuálního partnera HDInsight.
Vlastnosti Zobrazte vlastnosti clusteru.
Zámky Přidejte zámek, abyste zabránili úpravám nebo odstranění clusteru.
Export šablony Zobrazení a export šablony Azure Resource Manageru pro cluster V současné době můžete exportovat jenom závislý účet Azure Storage. Viz Vytváření linuxových clusterů Apache Hadoop ve službě HDInsight pomocí šablon Azure Resource Manageru.

Nabídka Monitorování

Položka Popis
Výstrahy Umožňuje spravovat výstrahy a akce.
Metriky Monitorujte metriky clusteru v protokolech služby Azure Monitor.
Nastavení diagnostiky Nastavte, kam se mají ukládat metriky diagnostiky.
Azure Monitor Monitorujte cluster ve službě Azure Monitor.

Nabídka Podpora a řešení potíží

Položka Popis
Stav prostředků Viz přehled služby Azure Resource Health.
Nová žádost o podporu Vytvořte lístek podpory pomocí podpora Microsoftu.

Vlastnosti clusteru

Na domovské stránce clusteru v části Nastavení vyberte Vlastnosti.

Položka Popis
NÁZEV HOSTITELE Název clusteru
ADRESA URL CLUSTERU Adresa URL webového rozhraní Ambari.
Privátní koncový bod Privátní koncový bod clusteru.
Secure Shell Uživatelské jméno a název hostitele, které se mají použít pro přístup ke clusteru přes SSH.
STAV Jedna z přerušených, přijatých, clusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, operational, running, error, delete, deleted, timeout, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued nebo ClusterCustomization.
OBLAST Umístění Azure Seznam podporovaných umístění Azure najdete v rozevíracím seznamu Oblastí s cenami služby HDInsight.
DATUM VYTVOŘENÍ Datum nasazení clusteru
OPERAČNÍ SYSTÉM Windows nebo Linux.
TYP Hadoop, HBase nebo Spark.
Verze Viz verze HDInsight.
Minimální verze protokolu TLS Verze protokolu TLS (Transport Layer Security).
PŘEDPLATNÉ Název předplatného
VÝCHOZÍ ZDROJ DAT Výchozí systém souborů clusteru.
Velikosti pracovních uzlů Velikost vybraného virtuálního počítače pracovních uzlů.
Velikost hlavního uzlu Vybraná velikost virtuálního počítače hlavních uzlů.
Virtuální síť Název virtuální sítě, ve které je cluster nasazený, pokud byl vybrán v době nasazení.

Přesun clusterů

Cluster HDInsight můžete přesunout do jiné skupiny prostředků Azure nebo jiného předplatného.

Na domovské stránce clusteru:

  1. V horní nabídce vyberte Přesunout.

  2. Vyberte Přesunout do jiné skupiny prostředků nebo Přesunout do jiného předplatného.

  3. Postupujte podle pokynů na nové stránce.

Odstranění clusterů

Odstranění clusteru neodstraní výchozí účet úložiště ani žádné propojené účty úložiště. Cluster můžete znovu vytvořit pomocí stejných účtů úložiště a stejných metastorů. Při opětovném vytvoření clusteru doporučujeme použít nový výchozí kontejner objektů blob.

Na domovské stránce clusteru:

  1. V horní nabídce vyberte Odstranit.
  2. Postupujte podle pokynů na nové stránce.

Další informace naleznete v tématu Pozastavení nebo vypnutí clusterů.

Přidání dalších účtů úložiště

Po vytvoření clusteru můžete přidat další účty Azure Storage a účty Azure Data Lake Storage. Další informace najdete v tématu Přidání dalších účtů úložiště do služby HDInsight.

Škálování clusterů

Pomocí funkce škálování clusteru můžete změnit počet pracovních uzlů používaných clusterem HDInsight, aniž byste museli cluster znovu vytvořit.

Další informace najdete v tématu Škálování clusterů HDInsight.

Pozastavení nebo vypnutí clusterů

Většina úloh Hadoopu je dávkové úlohy, které běží jen občas. U většiny clusterů Hadoop existuje velké časové období, kdy se cluster nepoužívá ke zpracování. S HDInsight jsou vaše data uložená ve službě Azure Storage, takže můžete cluster bezpečně odstranit, když se nepoužívá. Za cluster HDInsight se vám také účtují poplatky, i když se nepoužívá. Vzhledem k tomu, že poplatky za cluster jsou mnohokrát větší než poplatky za úložiště, dává smysl odstranit clustery, když se nepoužívají.

Proces můžete naprogramovat mnoha způsoby. Můžete použít:

Informace o cenách najdete v tématu Ceny služby HDInsight. Pokud chcete odstranit cluster z portálu, přečtěte si téma Odstranění clusterů.

Upgrade clusterů

Další informace najdete v tématu Upgrade clusteru HDInsight na novější verzi.

Otevření webového uživatelského rozhraní Apache Ambari

Ambari poskytuje intuitivní a snadno použitelné webové uživatelské rozhraní pro správu Hadoop, které je podporováno jeho rozhraními RESTful API. Díky Ambari můžou správci systému spravovat a monitorovat clustery Hadoop.

Na domovské stránce clusteru:

  1. Vyberte řídicí panely clusteru.

    Snímek obrazovky s nabídkou clusteru HDInsight Apache Hadoop

  2. Na nové stránce vyberte domovskou stránku Ambari.

  3. Zadejte uživatelské jméno a heslo clusteru. Výchozí uživatelské jméno clusteru je správce.

Další informace najdete v tématu Správa clusterů HDInsight pomocí webového uživatelského rozhraní Apache Ambari.

Změna hesel

Cluster HDInsight může mít dva uživatelské účty. Uživatelský účet clusteru HDInsight (uživatelský účet HTTP) a uživatelský účet SSH se vytvoří během procesu vytváření. Pomocí portálu můžete změnit heslo uživatelského účtu clusteru a pomocí akcí skriptu změnit uživatelský účet SSH.

Změna uživatelského hesla clusteru

Poznámka:

Změna hesla uživatele clusteru (správce) může způsobit selhání akcí skriptu, které se spouštějí v tomto clusteru. Pokud máte nějaké trvalé akce skriptu, které cílí na pracovní uzly, tyto skripty můžou selhat, když do clusteru přidáte uzly prostřednictvím operací změny velikosti. Další informace o akcích skriptů najdete v tématu Přizpůsobení clusterů HDInsight pomocí akcí skriptu.

Na domovské stránce clusteru:

  1. V části Nastavení vyberte přihlášení SSH a clusteru.
  2. Vyberte Resetovat přihlašovací údaje.
  3. Do textových polí zadejte a potvrďte nové heslo.
  4. Vyberte OK.

Heslo se změní na všech uzlech v clusteru.

Změna uživatelského hesla nebo veřejného klíče SSH

  1. Pomocí textového editoru uložte následující text jako soubor s názvem changecredentials.sh.

    Důležité

    Musíte použít editor, který se používá LF jako konec řádku. Pokud editor používá CRLF, skript nefunguje.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Nahrajte soubor do umístění úložiště, ke kterému máte přístup ze služby HDInsight pomocí adresy HTTP nebo HTTPS. Příkladem je veřejné úložiště souborů, jako je OneDrive nebo Azure Blob Storage. Uložte identifikátor URI (ADRESU HTTP nebo HTTPS) do souboru. Identifikátor URI je potřeba v dalším kroku.

  3. Na domovské stránce clusteru v části Nastavení vyberte Akce skriptu.

  4. Na stránce Akce skriptu vyberte Odeslat nový.

  5. Na stránce akce Odeslat skript zadejte informace v následující tabulce.

    Poznámka:

    Hesla SSH nemohou obsahovat následující znaky: " ' ' / \ < % ~ | $ & ! #

    Pole Hodnota
    Typ skriptu V rozevíracím seznamu vyberte – Vlastní .
    Název "Změna přihlašovacích údajů ssh"
    Identifikátor URI skriptu Bash Identifikátor URI souboru changecredentials.sh .
    Typy uzlů: Head, Worker, Nimbus, Supervisor nebo ZooKeeper Vyberte pro všechny uvedené typy uzlů možnost ..."
    Parametry Zadejte uživatelské jméno SSH a zadejte nové heslo. Mezi uživatelským jménem a heslem by mělo být jenom jedno místo.
    Zachovat tuto akci skriptu... Nechte toto pole nezaškrtli.

  6. Vyberte Vytvořit , aby se skript použil. Po dokončení skriptu se můžete ke clusteru připojit pomocí SSH s novými přihlašovacími údaji.

Vyhledání ID předplatného

Každý cluster je svázaný s předplatným Azure. ID předplatného Azure je viditelné na domovské stránce clusteru.

Vyhledání skupiny prostředků

V režimu Resource Manageru se každý cluster HDInsight vytvoří se skupinou Resource Manageru. Skupina Resource Manageru je viditelná na domovské stránce clusteru.

Vyhledání účtů úložiště

Clustery HDInsight používají k ukládání dat účet služby Azure Storage nebo Data Lake Storage. Každý cluster HDInsight může mít jeden výchozí účet úložiště a mnoho propojených účtů úložiště. Pokud chcete zobrazit seznam účtů úložiště, na domovské stránce clusteru v části Nastavení vyberte Účty úložiště.

Monitorování úloh

Další informace najdete v tématu Správa clusterů HDInsight pomocí webového uživatelského rozhraní Apache Ambari.

Velikost clusteru

Dlaždice Velikost clusteru na domovské stránce clusteru zobrazuje počet jader přidělených tomuto clusteru a způsob jejich přidělení pro uzly v tomto clusteru.

Důležité

Pokud chcete monitorovat služby poskytované clusterem HDInsight, musíte použít webové uživatelské rozhraní Ambari nebo rozhraní Ambari REST API. Další informace o používání Ambari najdete v tématu Správa clusterů HDInsight pomocí Apache Ambari.

Připojení ke clusteru

Související obsah

V tomto článku jste se naučili některé základní funkce správy. Další informace najdete v těchto článcích: