Dela via

Hantera Apache Hadoop-kluster i HDInsight med hjälp av Azure Portal

  • Artikel

Med hjälp av Azure Portal kan du hantera Apache Hadoop-kluster i Azure HDInsight. Använd flikväljaren för information om hur du hanterar Hadoop-kluster i HDInsight med hjälp av andra verktyg.

Förutsättningar

Ett befintligt Apache Hadoop-kluster i HDInsight. Mer information finns i Skapa Linux-baserade kluster i HDInsight med hjälp av Azure Portal.

Kom igång

Logga in på portalen.

Lista och visa kluster

På sidan HDInsight-kluster visas dina befintliga kluster. Från portalen:

  1. På menyn till vänster väljer du Alla tjänster.
  2. Under ANALYS väljer du HDInsight-kluster.

Startsida för kluster

På sidan HDInsight-kluster väljer du ditt klusternamn. Fönstret Översikt öppnas och ser ut ungefär som i följande bild.

Skärmbild som visar det viktigaste Azure Portal HDInsight-klustret.

Översta menyn

Objekt beskrivning
Flytta Flyttar klustret till en annan resursgrupp eller till en annan prenumeration.
Ta bort Tar bort klustret.
Svalka Uppdaterar vyn.

Vänster meny

Den vänstra menyn har flera avsnitt.

Övre vänstra menyn

Objekt beskrivning
Översikt Ange allmän information för klustret.
Aktivitetslogg Visa och fråga aktivitetsloggar.
Åtkomstkontroll (IAM) Använd rolltilldelningar. Se Tilldela Azure-roller för att hantera åtkomst till dina Azure-prenumerationsresurser.
Taggar Ange nyckel/värde-par för att definiera en anpassad taxonomi för dina molntjänster. Du kan till exempel skapa en nyckel med namnet project och sedan använda ett gemensamt värde för alla tjänster som är associerade med ett visst projekt.
Diagnostisera och lösa problem Visa felsökningsinformation.
Snabbstart Visa information som hjälper dig att komma igång med HDInsight.
Verktyg Hjälpinformation för HDInsight-relaterade verktyg.

Inställningsmenyn

Objekt beskrivning
Klusterstorlek Kontrollera, öka och minska antalet klusterarbetarenoder. Se Skala kluster.
Kvotgränser Visa de använda och tillgängliga kärnorna för din prenumeration.
SSH + Klusterinloggning Visa anvisningarna för att ansluta till klustret med hjälp av en SSH-anslutning (Secure Shell). Mer information finns i Use SSH with HDInsight (Använda SSH med HDInsight).
Azure Data Lake Storage Gen2 Konfigurera åtkomst till Data Lake Storage Gen2. Se Snabbstart: Konfigurera kluster i HDInsight.
Lagringskonton Visa lagringskontona och nycklarna. Lagringskontona konfigureras när klustret skapas.
Appar Lägg till eller ta bort HDInsight-program. Se Installera anpassade HDInsight-program.
Skriptåtgärder Kör Bash-skript i klustret. Se Anpassa Linux-baserade HDInsight-kluster med hjälp av skriptåtgärd.
Externa metaarkiv Visa Apache Hive- och Apache Oozie-metaarkiven. Du kan bara konfigurera metaarkiven när klustret skapas.
HDInsight-partner Lägg till eller ta bort den aktuella HDInsight-partnern.
Egenskaper Visa klusteregenskaperna.
Lås Lägg till ett lås för att förhindra att klustret ändras eller tas bort.
Exportera mall Visa och exportera Azure Resource Manager-mallen för klustret. För närvarande kan du bara exportera det beroende Azure Storage-kontot. Se Skapa Linux-baserade Apache Hadoop-kluster i HDInsight med hjälp av Azure Resource Manager-mallar.

Övervakningsmenyn

Objekt beskrivning
Aviseringar Hantera aviseringar och åtgärder.
Mått Övervaka klustermåtten i Azure Monitor-loggarna.
Diagnosinställningar Ange var diagnosstatistiken ska lagras.
Azure Monitor Övervaka klustret i Azure Monitor.

Support + felsökningsmeny

Objekt beskrivning
Resurshälsa Se Översikt över Azure-resurshälsa.
Ny supportbegäran Skapa ett supportärende med Microsoft Support.

Klusteregenskaper

På startsidan för klustret går du till Inställningar och väljer Egenskaper.

Objekt beskrivning
VÄRDNAMN Klusternamn.
KLUSTER-URL URL:en för Ambari-webbgränssnittet.
Privat slutpunkt Den privata slutpunkten för klustret.
Secure Shell Användarnamnet och värdnamnet som ska användas för att komma åt klustret via SSH.
STATUS En av Aborted, Accepted, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Deleteeting, Deleted, Timeout, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued eller ClusterCustomization.
REGION Azure-plats. En lista över Azure-platser som stöds finns i listrutan Region om HDInsight-priser.
SKAPAT DATUM Det datum då klustret distribuerades.
OPERATIVSYSTEM Antingen Windows eller Linux.
TYP Hadoop, HBase eller Spark.
Version: Se HDInsight-versioner.
Lägsta TLS-version TLS-versionen (Transport Layer Security).
ABONNEMANG Prenumerationsnamn.
STANDARDDATAKÄLLA Standardklusterfilsystemet.
Storlekar på arbetsnoder Den valda storleken på den virtuella datorn (VM) för arbetsnoderna.
Huvudnodstorlek Den valda VM-storleken för huvudnoderna.
Virtuellt nätverk Namnet på det virtuella nätverket, där klustret distribueras, om ett har valts vid distributionstillfället.

Flytta kluster

Du kan flytta ett HDInsight-kluster till en annan Azure-resursgrupp eller en annan prenumeration.

På startsidan för klustret:

  1. På den översta menyn väljer du Flytta.

  2. Välj Flytta till en annan resursgrupp eller Flytta till en annan prenumeration.

  3. Följ anvisningarna på den nya sidan.

Ta bort kluster

Om du tar bort ett kluster tas inte standardlagringskontot eller några länkade lagringskonton bort. Du kan återskapa klustret med samma lagringskonton och samma metaarkiv. Vi rekommenderar att du använder en ny standardblobcontainer när du återskapar klustret.

På startsidan för klustret:

  1. Välj Ta bort på den översta menyn.
  2. Följ anvisningarna på den nya sidan.

Mer information finns i Pausa eller stänga av kluster.

Lägga till fler lagringskonton

Du kan lägga till fler Azure Storage-konton och Azure Data Lake Storage-konton när ett kluster har skapats. Mer information finns i Add additional storage accounts to HDInsight (Lägga till fler lagringskonton till HDInsight).

Skala kluster

Du kan använda funktionen för klusterskalning för att ändra antalet arbetsnoder som används av ett HDInsight-kluster, utan att behöva återskapa klustret.

Mer information finns i Skala HDInsight-kluster.

Pausa eller stänga av kluster

De flesta Hadoop-jobb är batchjobb som bara körs ibland. För de flesta Hadoop-kluster finns det stora tidsperioder när klustret inte används för bearbetning. Med HDInsight lagras dina data i Azure Storage, så att du på ett säkert sätt kan ta bort ett kluster när de inte används. Du debiteras också för ett HDInsight-kluster, även om det inte används. Eftersom avgifterna för klustret är många gånger högre än avgifterna för lagring är det ekonomiskt klokt att ta bort kluster när de inte används.

Du kan programmera processen på många sätt. Du kan använda:

Prisinformation finns i HDInsight-priser. Information om hur du tar bort ett kluster från portalen finns i Ta bort kluster.

Uppgradera kluster

Mer information finns i Uppgradera ett HDInsight-kluster till en nyare version.

Öppna Apache Ambari-webbgränssnittet

Ambari tillhandahåller ett intuitivt, lättanvänt webbgränssnitt för Hadoop-hantering som backas upp av dess RESTful-API:er. Med Ambari kan systemadministratörer hantera och övervaka Hadoop-kluster.

På startsidan för klustret:

  1. Välj Klusterinstrumentpaneler.

    Skärmbild som visar HDInsight Apache Hadoop-klustermenyn.

  2. Välj Ambari home på den nya sidan.

  3. Ange klustrets användarnamn och lösenord. Standardklusteranvändarnamnet är administratör.

Mer information finns i Hantera HDInsight-kluster med hjälp av Apache Ambari-webbgränssnittet.

Ändra lösenord

Ett HDInsight-kluster kan ha två användarkonton. HDInsight-klustrets användarkonto (HTTP-användarkonto) och SSH-användarkontot skapas under skapandeprocessen. Du kan använda portalen för att ändra lösenordet för klustrets användarkonto och använda skriptåtgärder för att ändra SSH-användarkontot.

Ändra lösenordet för klusteranvändaren

Kommentar

Om du ändrar lösenordet för klusteranvändare (administratör) kan skriptåtgärder som körs mot det här klustret misslyckas. Om du har några bestående skriptåtgärder som riktar sig mot arbetsnoder kan dessa skript misslyckas när du lägger till noder i klustret genom storleksändringsåtgärder. Mer information om skriptåtgärder finns i Anpassa HDInsight-kluster med hjälp av skriptåtgärder.

På startsidan för klustret:

  1. Under Inställningar väljer du SSH + Klusterinloggning.
  2. Välj Återställ autentiseringsuppgifter.
  3. Ange och bekräfta ett nytt lösenord i textrutorna.
  4. Välj OK.

Lösenordet ändras på alla noder i klustret.

Ändra SSH-användarlösenordet eller den offentliga nyckeln

  1. Använd en textredigerare för att spara följande text som en fil med namnet changecredentials.sh.

    Viktigt!

    Du måste använda en redigerare som använder LF som radslut. Om redigeraren använder CRLFfungerar inte skriptet.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Ladda upp filen till en lagringsplats som du kan komma åt från HDInsight med hjälp av en HTTP- eller HTTPS-adress. Ett exempel är ett offentligt filarkiv som OneDrive eller Azure Blob Storage. Spara URI:n (HTTP- eller HTTPS-adressen) i filen. URI:n behövs i nästa steg.

  3. På startsidan för klustret går du till Inställningar och väljer Skriptåtgärder.

  4. På sidan Skriptåtgärder väljer du Skicka ny.

  5. På sidan Skicka skriptåtgärd anger du informationen i följande tabell.

    Kommentar

    SSH-lösenord får inte innehålla följande tecken: " ' ' / \ < % ~ | $ & ! #

    Fält Värde
    Typ av skript Välj – Anpassad i listrutan.
    Namn "Ändra ssh-autentiseringsuppgifter."
    Bash-skript-URI URI:n till changecredentials.sh filen.
    Nodtyper: Head, Worker, Nimbus, Supervisor eller ZooKeeper Välj √ för alla nodtyper som visas.
    Parameters Ange SSH-användarnamnet och ange sedan det nya lösenordet. Det bör bara finnas ett blanksteg mellan användarnamnet och lösenordet.
    Spara den här skriptåtgärden ... Lämna det här fältet avmarkerat.

  6. Välj Skapa för att tillämpa skriptet. När skriptet är klart kan du ansluta till klustret med hjälp av SSH med de nya autentiseringsuppgifterna.

Hitta prenumerations-ID:t

Varje kluster är kopplat till en Azure-prenumeration. Azure-prenumerations-ID:t visas på startsidan för klustret.

Hitta resursgruppen

I Resource Manager-läget skapas varje HDInsight-kluster med en Resource Manager-grupp. Resource Manager-gruppen visas på startsidan för klustret.

Hitta lagringskontona

HDInsight-kluster använder antingen ett Azure Storage-konto eller Data Lake Storage för att lagra data. Varje HDInsight-kluster kan ha ett standardlagringskonto och många länkade lagringskonton. Om du vill visa en lista över lagringskonton går du till startsidan för klustret och väljer Lagringskonton under Inställningar.

Övervaka jobb

Mer information finns i Hantera HDInsight-kluster med hjälp av Apache Ambari-webbgränssnittet.

Klusterstorlek

Panelen Klusterstorlek på startsidan för klustret visar antalet kärnor som allokerats till klustret och hur de allokeras för noderna i det här klustret.

Viktigt!

Om du vill övervaka de tjänster som tillhandahålls av HDInsight-klustret måste du använda webbgränssnittet för Ambari eller Ambari REST API. Mer information om hur du använder Ambari finns i Hantera HDInsight-kluster med hjälp av Apache Ambari.

Anslut till ett kluster

Relaterat innehåll

I den här artikeln har du lärt dig några grundläggande administrativa funktioner. Mer information finns i följande artiklar: