Dela via

Övervaka Azure HDInsight

  • Artikel

I den här artikeln beskrivs:

  • De typer av övervakningsdata som du kan samla in för den här tjänsten.
  • Sätt att analysera dessa data.

Kommentar

Om du redan är bekant med den här tjänsten och/eller Azure Monitor och bara vill veta hur du analyserar övervakningsdata kan du läsa avsnittet Analysera i slutet av den här artikeln.

När du har viktiga program och affärsprocesser som är beroende av Azure-resurser måste du övervaka och få aviseringar för systemet. Azure Monitor-tjänsten samlar in och aggregerar mått och loggar från varje komponent i systemet. Azure Monitor ger dig en översikt över tillgänglighet, prestanda och motståndskraft och meddelar dig om problem. Du kan använda Azure Portal, PowerShell, Azure CLI, REST API eller klientbibliotek för att konfigurera och visa övervakningsdata.

Övervakningsalternativ för HDInsight

De specifika mått och loggar som är tillgängliga för ditt HDInsight-kluster beror på klustertypen och verktygen. Azure HDInsight erbjuder klustertyperna Apache Hadoop, Spark, Kafka, HBase och Interaktiv fråga. Du kan övervaka klustret via Apache Ambari-webbgränssnittet eller i Azure Portal genom att aktivera Azure Monitor-integrering.

Apache Ambari-övervakning

Apache Ambari förenklar hantering, konfiguration och övervakning av HDInsight-kluster genom att tillhandahålla ett webbgränssnitt och ett REST-API. Ambari ingår i alla Linux-baserade HDInsight-kluster. Om du vill använda Ambari väljer du Ambari home på HDInsight-klustrets översiktssida i Azure Portal.

Information om hur du använder Ambari för övervakning finns i följande artiklar:

Azure Monitor-integrering

Du kan också övervaka dina HDInsight-kluster direkt i Azure. Med en ny Azure Monitor-integrering, som nu är i förhandsversion, kan du komma åt insikter, loggar och arbetsböcker från HDInsight-klustret utan att behöva anropa Log Analytics-arbetsytan.

Om du vill använda den nya Azure Monitor-integreringen aktiverar du den genom att välja Övervaka integrering från avsnittet Övervakning i den vänstra menyn på din HDInsight-Azure Portal-sida. Du kan också använda PowerShell eller Azure CLI för att aktivera och interagera med den nya övervakningsintegrering. Mer information finns i följande artiklar:

Insikter

Vissa tjänster i Azure har en inbyggd instrumentpanel för övervakning i Azure Portal som ger en startpunkt för övervakning av din tjänst. Dessa instrumentpaneler kallas insikter och du hittar dem i Insights Hub i Azure Monitor i Azure Portal.

Integrering av Insights-klusterportalen

När du har aktiverat Azure Monitor-integrering kan du välja Insights (förhandsversion) på den vänstra menyn på din HDInsight-Azure Portal-sida för att se en inaktuell, automatiskt ifylld instrumentpanel för logg- och måttvisualisering som är specifik för klustrets typ. Instrumentpanelen insikter använder en fördefinierad Azure-arbetsbok som innehåller avsnitt för varje klustertyp, YARN, systemmått och komponentloggar.

Skärmbild som visar instrumentpanelen för visualisering.

Dessa detaljerade grafer och visualiseringar ger dig djupgående insikter om ditt klusters prestanda och hälsa. Mer information finns i Använda HDInsight out-of-box Insights för att övervaka ett enda kluster.

Resurstyper

Azure använder begreppet resurstyper och ID:t för att identifiera allt i en prenumeration. Resurstyper ingår också i resurs-ID:t för varje resurs som körs i Azure. En resurstyp för en virtuell dator är Microsoft.Compute/virtualMachinestill exempel . En lista över tjänster och deras associerade resurstyper finns i Resursprovidrar.

Azure Monitor organiserar på liknande sätt kärnövervakningsdata i mått och loggar baserat på resurstyper, även kallade namnområden. Olika mått och loggar är tillgängliga för olika resurstyper. Tjänsten kan vara associerad med mer än en resurstyp.

Mer information om resurstyperna för Azure HDInsight finns i REFERENS för HDInsight-övervakningsdata.

Datalagring

För Azure Monitor:

  • Måttdata lagras i Azure Monitor-måttdatabasen.
  • Loggdata lagras i Azure Monitor-loggarkivet. Log Analytics är ett verktyg i Azure Portal som kan köra frågor mot det här arkivet.
  • Azure-aktivitetsloggen är ett separat arkiv med ett eget gränssnitt i Azure Portal.

Du kan också dirigera mått- och aktivitetsloggdata till Azure Monitor-loggarkivet. Du kan sedan använda Log Analytics för att fråga efter data och korrelera dem med andra loggdata.

Många tjänster kan använda diagnostikinställningar för att skicka mått- och loggdata till andra lagringsplatser utanför Azure Monitor. Exempel är Azure Storage, värdbaserade partnersystem och icke-Azure-partnersystem med hjälp av Event Hubs.

Detaljerad information om hur Azure Monitor lagrar data finns i Azure Monitor-dataplattformen.

HDInsight lagrar sina loggfiler både i klusterfilsystemet och i Azure Storage. På grund av det stora antalet och storleken på loggfiler är det viktigt att optimera logglagring och arkivering för att hjälpa till med kostnadshantering. Mer information finns i Hantera loggar för ett HDInsight-kluster.

Azure Monitor-plattformsmått

Azure Monitor tillhandahåller plattformsmått för de flesta tjänster. Dessa mått är:

  • Individuellt definierad för varje namnområde.
  • Lagras i azure monitor-databasen för tidsseriemått.
  • Lätt och kan stödja nästan realtidsaviseringar.
  • Används för att spåra prestanda för en resurs över tid.

Samling: Azure Monitor samlar in plattformsmått automatiskt. Ingen konfiguration krävs.

Routning: Du kan också dirigera vissa plattformsmått till Azure Monitor-loggar/Log Analytics så att du kan köra frågor mot dem med andra loggdata. Kontrollera DS-exportinställningen för varje mått för att se om du kan använda en diagnostikinställning för att dirigera måttet till Azure Monitor-loggar/Log Analytics.

En lista över alla mått som du kan samla in för alla resurser i Azure Monitor finns i Mått som stöds i Azure Monitor.

En lista över mått som samlas in automatiskt för HDInsight finns i REFERENS för HDInsight-övervakningsdata.

Azure Monitor-resursloggar

Resursloggar ger insikter om åtgärder som har utförts av en Azure-resurs. Loggar genereras automatiskt, men du måste dirigera dem till Azure Monitor-loggar för att spara eller köra frågor mot dem. Loggar ordnas i kategorier. Ett givet namnområde kan ha flera resursloggkategorier.

Samling: Resursloggar samlas inte in och lagras förrän du skapar en diagnostikinställning och dirigerar loggarna till en eller flera platser. När du skapar en diagnostikinställning anger du vilka kategorier av loggar som ska samlas in. Det finns flera sätt att skapa och underhålla diagnostikinställningar, inklusive Azure Portal, programmatiskt och via Azure Policy.

Routning: Det föreslagna standardvärdet är att dirigera resursloggar till Azure Monitor-loggar så att du kan köra frågor mot dem med andra loggdata. Andra platser som Azure Storage, Azure Event Hubs och vissa Microsoft-övervakningspartner är också tillgängliga. Mer information finns i Azure-resursloggar och Resursloggmål.

Detaljerad information om hur du samlar in, lagrar och dirigerar resursloggar finns i Diagnostikinställningar i Azure Monitor.

En lista över alla tillgängliga resursloggkategorier i Azure Monitor finns i Resursloggar som stöds i Azure Monitor.

Alla resursloggar i Azure Monitor har samma rubrikfält följt av tjänstspecifika fält. Det vanliga schemat beskrivs i Azure Monitor-resursloggschemat.

Agentinsamlade loggar

HDInsight producerar inte resursloggar med den vanliga metoden. I stället samlar den in loggar inifrån HDInsight-klustret och skickar dem till Azure Monitor-loggar/Log Analytics-tabeller med Log Analytics-agenten.

Ett HDInsight-kluster genererar många loggfiler, till exempel:

  • Jobbkörningsloggar
  • YARN-loggens Resource Manager-filer
  • Skriptåtgärdsloggar
  • Status för Ambari-klusteraviseringar
  • Ambari-systemmått
  • Säkerhetsloggar
  • Hadoop-aktivitet loggad till loggfilerna controller, stderr och syslog

Vilka loggar som är tillgängliga beror på ditt klusterramverk och dina verktyg. När du har aktiverat Azure Monitor-integrering för klustret kan du visa och fråga i någon av dessa loggar.

Selektiv loggning

HDInsight-kluster kan samla in många utförliga loggar. För att spara på övervaknings- och lagringskostnader kan du aktivera funktionen selektiv loggning med hjälp av skriptåtgärder för HDInsight i Azure Portal. Med selektiv loggning kan du aktivera och inaktivera olika loggar och måttkällor som är tillgängliga via Log Analytics. Med den här funktionen behöver du bara betala för det du använder.

Du kan konfigurera loggsamling och analys för att aktivera eller inaktivera tabeller på Log Analytics-arbetsytan och justera källtypen för varje tabell. Detaljerade instruktioner finns i Använda selektiv loggning med en skriptåtgärd i Azure HDInsight.

Azure-aktivitetslogg

Aktivitetsloggen innehåller händelser på prenumerationsnivå som spårar åtgärder för varje Azure-resurs som visas utanför resursen. till exempel att skapa en ny resurs eller starta en virtuell dator.

Samling: Aktivitetslogghändelser genereras automatiskt och samlas in i ett separat arkiv för visning i Azure Portal.

Routning: Du kan skicka aktivitetsloggdata till Azure Monitor-loggar så att du kan analysera dem tillsammans med andra loggdata. Andra platser som Azure Storage, Azure Event Hubs och vissa Microsoft-övervakningspartner är också tillgängliga. Mer information om hur du dirigerar aktivitetsloggen finns i Översikt över Azure-aktivitetsloggen.

Analysera övervakningsdata

Det finns många verktyg för att analysera övervakningsdata.

Azure Monitor-verktyg

Azure Monitor har stöd för följande grundläggande verktyg:

  • Metrics Explorer, ett verktyg i Azure Portal som gör att du kan visa och analysera mått för Azure-resurser. Mer information finns i Analysera mått med Azure Monitor Metrics Explorer.

  • Log Analytics, ett verktyg i Azure Portal som gör att du kan köra frågor mot och analysera loggdata med hjälp av Kusto-frågespråket (KQL). Mer information finns i Kom igång med loggfrågor i Azure Monitor.

  • Aktivitetsloggen, som har ett användargränssnitt i Azure Portal för visning och grundläggande sökningar. Om du vill göra mer djupgående analys måste du dirigera data till Azure Monitor-loggar och köra mer komplexa frågor i Log Analytics.

Verktyg som möjliggör mer komplex visualisering är:

  • Instrumentpaneler som gör att du kan kombinera olika typer av data i ett enda fönster i Azure Portal.
  • Arbetsböcker, anpassningsbara rapporter som du kan skapa i Azure Portal. Arbetsböcker kan innehålla text-, mått- och loggfrågor.
  • Grafana, ett öppet plattformsverktyg som utmärker sig i operativa instrumentpaneler. Du kan använda Grafana för att skapa instrumentpaneler som innehåller data från flera andra källor än Azure Monitor.
  • Power BI, en tjänst för affärsanalys som tillhandahåller interaktiva visualiseringar mellan olika datakällor. Du kan konfigurera Power BI för att automatiskt importera loggdata från Azure Monitor för att dra nytta av dessa visualiseringar.

Azure Monitor-loggar samlar in data från dina HDInsight-klusterresurser och från andra övervakningsverktyg och använder data för att tillhandahålla analys över flera källor.

Exportverktyg för Azure Monitor

Du kan hämta data från Azure Monitor till andra verktyg med hjälp av följande metoder:

  • Mått: Använd REST-API:et för mått för att extrahera måttdata från Azure Monitor-måttdatabasen. API:et stöder filteruttryck för att förfina de data som hämtas. Mer information finns i Azure Monitor REST API-referens.

  • Loggar: Använd REST-API:et eller de associerade klientbiblioteken.

  • Ett annat alternativ är dataexporten för arbetsytan.

Information om hur du kommer igång med REST-API:et för Azure Monitor finns i Genomgång av REST API för Azure-övervakning.

Kusto-frågor

Du kan analysera övervakningsdata i Azure Monitor-loggar/Log Analytics-arkivet med hjälp av Kusto-frågespråket (KQL).

Viktigt!

När du väljer Loggar på tjänstens meny i portalen öppnas Log Analytics med frågeomfånget inställt på den aktuella tjänsten. Det här omfånget innebär att loggfrågor endast innehåller data från den typen av resurs. Om du vill köra en fråga som innehåller data från andra Azure-tjänster väljer du Loggar på Azure Monitor-menyn . Mer information finns i Log query scope and time range in Azure Monitor Log Analytics (Loggfrågeomfång och tidsintervall i Azure Monitor Log Analytics ).

En lista över vanliga frågor för alla tjänster finns i Log Analytics-frågegränssnittet.

När du har aktiverat Azure Monitor-integrering kan du välja Loggar (förhandsversion) i det vänstra navigeringsfältet för HDInsight-portalsidan och sedan välja fliken Frågor för att se exempelfrågor för klustret. Följande fråga visar till exempel en lista över alla kända datorer som inte har skickat ett pulsslag under de senaste fem timmarna.

// Unavailable computers 
Heartbeat
| summarize LastHeartbeat=max(TimeGenerated) by Computer
| where LastHeartbeat < ago(5h)

Följande fråga hämtar de 10 mest resursintensiva frågorna, baserat på CPU-förbrukning, under de senaste 24 timmarna.

// Top 10 resource intensive queries 
LAQueryLogs
| top 10 by StatsCPUTimeMs desc nulls last

Viktigt!

Den nya Azure Monitor-integreringen implementerar nya tabeller på Log Analytics-arbetsytan. För att ta bort så mycket tvetydighet som möjligt finns det färre scheman och schemaformateringen är bättre organiserad och lättare att förstå.

Den nya övervakningsintegrering i Azure Portal använder de nya tabellerna, men du måste omarbeta äldre frågor och instrumentpaneler för att kunna använda de nya tabellerna. Information om loggtabellmappningar från den klassiska Azure Monitor-integreringen till de nya tabellerna finns i Loggtabellmappning.

Aviseringar

Azure Monitor-aviseringar meddelar dig proaktivt när specifika villkor finns i dina övervakningsdata. Med aviseringar kan du identifiera och åtgärda problem i systemet innan kunderna märker dem. Mer information finns i Azure Monitor-aviseringar.

Det finns många källor till vanliga aviseringar för Azure-resurser. Exempel på vanliga aviseringar för Azure-resurser finns i Exempelloggaviseringsfrågor. Webbplatsen Azure Monitor Baseline Alerts (AMBA) innehåller en halvautomatiserad metod för att implementera viktiga plattformsmåttaviseringar, instrumentpaneler och riktlinjer. Webbplatsen gäller för en kontinuerligt expanderande delmängd av Azure-tjänster, inklusive alla tjänster som ingår i Azure Landing Zone (ALZ).

Det gemensamma aviseringsschemat standardiserar förbrukningen av Azure Monitor-aviseringsmeddelanden. Mer information finns i Vanliga aviseringsscheman.

Typer av aviseringar

Du kan avisera om valfritt mått eller loggdatakälla på Azure Monitor-dataplattformen. Det finns många olika typer av aviseringar beroende på vilka tjänster du övervakar och de övervakningsdata som du samlar in. Olika typer av aviseringar har olika fördelar och nackdelar. Mer information finns i Välj rätt övervakningsaviseringstyp.

I följande lista beskrivs de typer av Azure Monitor-aviseringar som du kan skapa:

  • Måttaviseringar utvärderar resursmått med jämna mellanrum. Mått kan vara plattformsmått, anpassade mått, loggar från Azure Monitor som konverterats till mått eller Application Insights-mått. Måttaviseringar kan också tillämpa flera villkor och dynamiska tröskelvärden.
  • Med loggaviseringar kan användare använda en Log Analytics-fråga för att utvärdera resursloggar med en fördefinierad frekvens.
  • Aktivitetsloggaviseringar utlöses när en ny aktivitetslogghändelse inträffar som matchar definierade villkor. Resource Health-aviseringar och Service Health-aviseringar är aktivitetsloggaviseringar som rapporterar om tjänstens och resurshälsan.

Vissa Azure-tjänster stöder även aviseringar om smart identifiering, Prometheus-aviseringar eller rekommenderade aviseringsregler.

För vissa tjänster kan du övervaka i stor skala genom att tillämpa samma måttaviseringsregel på flera resurser av samma typ som finns i samma Azure-region. Enskilda meddelanden skickas för varje övervakad resurs. Information om Azure-tjänster och moln som stöds finns i Övervaka flera resurser med en aviseringsregel.

HDInsight-aviseringsregler

När du har aktiverat Azure Monitor-integrering kan du välja Aviseringar i det vänstra navigeringsfältet för HDInsight-portalsidan och sedan välja Skapa aviseringsregel för att konfigurera aviseringar. Du kan basera en avisering på alla Log Analytics-frågor eller använda signaler från mått eller aktivitetsloggen.

I följande tabell beskrivs ett par aviseringsregler för HDInsight. Dessa aviseringar är bara exempel. Du kan ange aviseringar för alla mått, loggposter eller aktivitetsloggposter som anges i HDInsight-referensen för övervakningsdata.

Aviseringstyp Villkor beskrivning
Mått Väntande PROCESSOR När den maximala väntande processorn är större eller mindre än det dynamiska tröskelvärdet
Aktivitetslogg Ta bort klustret När aktivitetsloggen har en händelse med Category='Administrative', Signal name='Delete Cluster (HDInsight Cluster)'

Ett exempel som visar hur du skapar en avisering finns i Azure Monitor-aviseringar.

Advisor-rekommendationer

För vissa tjänster, om kritiska villkor eller överhängande ändringar inträffar under resursåtgärder, visas en avisering på sidan Tjänstöversikt i portalen. Du hittar mer information och rekommenderade korrigeringar för aviseringen i Advisor-rekommendationer under Övervakning i den vänstra menyn. Under normal drift visas inga advisor-rekommendationer.

Mer information om Azure Advisor finns i Översikt över Azure Advisor.

Relaterat innehåll