Azure HDInsight bewaken

In dit artikel wordt het volgende beschreven:

• De typen bewakingsgegevens die u voor deze service kunt verzamelen.
• Manieren om die gegevens te analyseren.

Notitie

Als u al bekend bent met deze service en/of Azure Monitor en alleen wilt weten hoe u bewakingsgegevens analyseert, raadpleegt u de sectie Analyseren aan het einde van dit artikel.

Wanneer u kritieke toepassingen en bedrijfsprocessen hebt die afhankelijk zijn van Azure-resources, moet u waarschuwingen voor uw systeem bewaken en ontvangen. De Azure Monitor-service verzamelt en aggregeert metrische gegevens en logboeken van elk onderdeel van uw systeem. Azure Monitor biedt een overzicht van beschikbaarheid, prestaties en tolerantie, en geeft u een overzicht van problemen. U kunt de Azure-portal, PowerShell, Azure CLI, REST API of clientbibliotheken gebruiken om bewakingsgegevens in te stellen en weer te geven.

• Zie het overzicht van Azure Monitor voor meer informatie over Azure Monitor.
• Zie Azure-resources bewaken met Azure Monitor voor meer informatie over het bewaken van Azure-resources in het algemeen.

HdInsight-bewakingsopties

De specifieke metrische gegevens en logboeken die beschikbaar zijn voor uw HDInsight-cluster, zijn afhankelijk van uw clustertype en hulpprogramma's. Azure HDInsight biedt apache Hadoop-, Spark-, Kafka-, HBase- en Interactive Query-clustertypen. U kunt uw cluster bewaken via de Apache Ambari-webinterface of in Azure Portal door Azure Monitor-integratie in te schakelen.

Apache Ambari-bewaking

Apache Ambari vereenvoudigt het beheer, de configuratie en het bewaken van HDInsight-clusters door een webgebruikersinterface en een REST API te bieden. Ambari is opgenomen in alle HDInsight-clusters op basis van Linux. Als u Ambari wilt gebruiken, selecteert u de startpagina van Ambari op de overzichtspagina van uw HDInsight-cluster in Azure Portal.

Zie de volgende artikelen voor informatie over het gebruik van Ambari voor bewaking:

• Clusterprestaties in Azure HDInsight bewaken
• De beschikbaarheid van clusters bewaken met Apache Ambari in Azure HDInsight

Azure Monitor-integratie

U kunt uw HDInsight-clusters ook rechtstreeks in Azure bewaken. Met een nieuwe Azure Monitor-integratie, nu in preview, hebt u toegang tot inzichten, logboeken en werkmappen vanuit uw HDInsight-cluster zonder dat u de Log Analytics-werkruimte hoeft aan te roepen.

Als u de nieuwe Azure Monitor-integratie wilt gebruiken, schakelt u deze in door Monitor-integratie te selecteren in de sectie Bewaking in het linkermenu van uw HDInsight Azure Portal-pagina. U kunt ook PowerShell of Azure CLI gebruiken om de nieuwe bewakingsintegratie in te schakelen en te gebruiken. Zie het volgende artikel voor meer informatie:

• Azure Monitor Agent gebruiken om HDInsight-clusters te bewaken

Inzichten

Sommige services in Azure hebben een ingebouwd bewakingsdashboard in Azure Portal dat een beginpunt biedt voor het bewaken van uw service. Deze dashboards worden inzichten genoemd en u kunt ze vinden in de Insights Hub van Azure Monitor in Azure Portal.

Integratie van Insights-clusterportal

Nadat u Azure Monitor-integratie hebt ingeschakeld, kunt u Inzichten (preview) selecteren in het linkermenu van uw HDInsight Azure Portal-pagina om een out-of-box te zien, automatisch ingevulde logboeken en visualisatiedashboards voor metrische gegevens die specifiek zijn voor het type van uw cluster. Het inzichtendashboard maakt gebruik van een vooraf gedefinieerde Azure-werkmap met secties voor elk clustertype, YARN, metrische systeemgegevens en onderdeellogboeken.

Met deze gedetailleerde grafieken en visualisaties krijgt u meer inzicht in de prestaties en status van uw cluster. Zie HdInsight out-of-box Insights gebruiken om één cluster te bewaken voor meer informatie.

Resourcetypen

Azure maakt gebruik van het concept van resourcetypen en id's om alles in een abonnement te identificeren. Resourcetypen maken ook deel uit van de resource-id's voor elke resource die wordt uitgevoerd in Azure. Eén resourcetype voor een virtuele machine is Microsoft.Compute/virtualMachinesbijvoorbeeld . Zie Resourceproviders voor een lijst met services en de bijbehorende resourcetypen.

Azure Monitor organiseert op dezelfde manier kernbewakingsgegevens in metrische gegevens en logboeken op basis van resourcetypen, ook wel naamruimten genoemd. Er zijn verschillende metrische gegevens en logboeken beschikbaar voor verschillende resourcetypen. Uw service is mogelijk gekoppeld aan meer dan één resourcetype.

Zie de naslaginformatie over hdinsight-bewakingsgegevens voor meer informatie over de resourcetypen voor Azure HDInsight.

Gegevensopslag

Voor Azure Monitor:

• Metrische gegevens worden opgeslagen in de metrische gegevensdatabase van Azure Monitor.
• Logboekgegevens worden opgeslagen in het logboekarchief van Azure Monitor. Log Analytics is een hulpprogramma in Azure Portal waarmee een query kan worden uitgevoerd op dit archief.
• Het Azure-activiteitenlogboek is een afzonderlijk archief met een eigen interface in Azure Portal.

U kunt eventueel metrische gegevens en activiteitenlogboekgegevens routeren naar het logboekarchief van Azure Monitor. Vervolgens kunt u Log Analytics gebruiken om een query uit te voeren op de gegevens en deze te correleren met andere logboekgegevens.

Veel services kunnen diagnostische instellingen gebruiken om metrische gegevens en logboekgegevens te verzenden naar andere opslaglocaties buiten Azure Monitor. Voorbeelden hiervan zijn Azure Storage, gehoste partnersystemen en niet-Azure-partnersystemen, met behulp van Event Hubs.

Zie het Azure Monitor-gegevensplatform voor gedetailleerde informatie over hoe Azure Monitor gegevens opslaat.

HDInsight slaat de logboekbestanden zowel op in het clusterbestandssysteem als in Azure Storage. Vanwege het grote aantal en de grootte van logboekbestanden is het belangrijk om logboekopslag en -archivering te optimaliseren voor kostenbeheer. Zie Logboeken beheren voor een HDInsight-cluster voor meer informatie.

Metrische gegevens van het Azure Monitor-platform

Azure Monitor biedt metrische platformgegevens voor de meeste services. Deze metrische gegevens zijn:

• Afzonderlijk gedefinieerd voor elke naamruimte.
• Opgeslagen in de metrische gegevensdatabase van Azure Monitor.
• Lichtgewicht en in staat om bijna realtime waarschuwingen te ondersteunen.
• Wordt gebruikt om de prestaties van een resource in de loop van de tijd bij te houden.

Verzameling: Azure Monitor verzamelt automatisch metrische platformgegevens. Er is geen configuratie vereist.

Routering: U kunt sommige metrische platformgegevens ook routeren naar Azure Monitor-logboeken/Log Analytics, zodat u er query's op kunt uitvoeren met andere logboekgegevens. Controleer de DS-exportinstelling voor elke metriek om te zien of u een diagnostische instelling kunt gebruiken om de metrische gegevens te routeren naar Azure Monitor-logboeken/Log Analytics.

• Zie de diagnostische instelling voor metrische gegevens voor meer informatie.
• Zie Diagnostische instellingen maken in Azure Monitor om diagnostische instellingen voor een service te configureren.

Zie Ondersteunde metrische gegevens in Azure Monitor voor een lijst met alle metrische gegevens die kunnen worden verzameld voor alle resources in Azure Monitor.

Zie de naslaginformatie over bewakingsgegevens van HDInsight voor een lijst met metrische gegevens die automatisch worden verzameld voor HDInsight.

Azure Monitor-resourcelogboeken

Resourcelogboeken bieden inzicht in bewerkingen die zijn uitgevoerd door een Azure-resource. Logboeken worden automatisch gegenereerd, maar u moet ze routeren naar Azure Monitor-logboeken om ze op te slaan of er query's op uit te voeren. Logboeken zijn ingedeeld in categorieën. Een bepaalde naamruimte kan meerdere resourcelogboekcategorieën hebben.

Verzameling: Resourcelogboeken worden pas verzameld en opgeslagen als u een diagnostische instelling maakt en de logboeken doorsturen naar een of meer locaties. Wanneer u een diagnostische instelling maakt, geeft u op welke categorieën logboeken moeten worden verzameld. Er zijn meerdere manieren om diagnostische instellingen te maken en te onderhouden, waaronder Azure Portal, programmatisch en hoewel Azure Policy.

Routering: de voorgestelde standaardinstelling is het routeren van resourcelogboeken naar Azure Monitor-logboeken, zodat u er query's op kunt uitvoeren met andere logboekgegevens. Andere locaties, zoals Azure Storage, Azure Event Hubs en bepaalde Microsoft-bewakingspartners, zijn ook beschikbaar. Zie Azure-resourcelogboeken en resourcelogboekbestemmingen voor meer informatie.

Zie Diagnostische instellingen in Azure Monitor voor gedetailleerde informatie over het verzamelen, opslaan en routeren van resourcelogboeken.

Zie Ondersteunde resourcelogboeken in Azure Monitor voor een lijst met alle beschikbare resourcelogboekcategorieën in Azure Monitor.

Alle resourcelogboeken in Azure Monitor hebben dezelfde koptekstvelden, gevolgd door servicespecifieke velden. Het algemene schema wordt beschreven in het schema voor resourcelogboeken van Azure Monitor.

Door agents verzamelde logboeken

HDInsight produceert geen resourcelogboeken volgens de gebruikelijke methode. In plaats daarvan worden logboeken vanuit het HDInsight-cluster verzameld en verzonden naar Azure Monitor-logboeken/Log Analytics-tabellen met behulp van de Log Analytics-agent.

Een HDInsight-cluster produceert veel logboekbestanden, zoals:

• Taakuitvoeringslogboeken
• RESOURCE Manager-bestanden van YARN-logboek
• Scriptactielogboeken
• Status van Ambari-clusterwaarschuwingen
• Metrische gegevens van het Ambari-systeem
• Beveiligingslogboeken
• Hadoop-activiteit geregistreerd bij de controller-, stderr- en syslog-logboekbestanden

De specifieke logboeken die beschikbaar zijn, zijn afhankelijk van uw clusterframework en hulpprogramma's. Zodra u Azure Monitor-integratie voor uw cluster hebt ingeschakeld, kunt u deze logboeken bekijken en er query's op uitvoeren.

• Zie Logboeken voor een HDInsight-cluster beheren voor meer informatie over de verzamelde logboeken.
• Zie de naslaginformatie over hdinsight-bewakingsgegevens voor beschikbare Log Analytics- en Azure Monitor-tabellen en logboekschema's voor HDInsight.

Selectieve logboekregistratie

HDInsight-clusters kunnen veel uitgebreide logboeken verzamelen. Als u wilt besparen op bewakings- en opslagkosten, kunt u de functie voor selectieve logboekregistratie inschakelen met behulp van scriptacties voor HDInsight in Azure Portal. Met selectieve logboekregistratie kunt u verschillende logboeken en metrische bronnen in- en uitschakelen die beschikbaar zijn via Log Analytics. Met deze functie hoeft u alleen te betalen voor wat u gebruikt.

U kunt logboekverzameling en -analyse configureren om tabellen in of uit te schakelen in de Log Analytics-werkruimte en het brontype voor elke tabel aan te passen. Zie Selectieve logboekregistratie gebruiken met een scriptactie in Azure HDInsight voor gedetailleerde instructies.

Azure-activiteitenlogboek

Het activiteitenlogboek bevat gebeurtenissen op abonnementsniveau waarmee bewerkingen voor elke Azure-resource worden bijgehouden, zoals van buiten die resource wordt gezien; Bijvoorbeeld het maken van een nieuwe resource of het starten van een virtuele machine.

Verzameling: gebeurtenissen in activiteitenlogboeken worden automatisch gegenereerd en verzameld in een afzonderlijk archief voor weergave in Azure Portal.

Routering: U kunt activiteitenlogboekgegevens verzenden naar Azure Monitor-logboeken, zodat u deze naast andere logboekgegevens kunt analyseren. Andere locaties, zoals Azure Storage, Azure Event Hubs en bepaalde Microsoft-bewakingspartners, zijn ook beschikbaar. Zie Overzicht van het Azure-activiteitenlogboek voor meer informatie over het routeren van het activiteitenlogboek.

Bewakingsgegevens analyseren

Er zijn veel hulpprogramma's voor het analyseren van bewakingsgegevens.

Azure Monitor-hulpprogramma's

Azure Monitor ondersteunt de volgende basishulpprogramma's:

• Metrics Explorer, een hulpprogramma in Azure Portal waarmee u metrische gegevens voor Azure-resources kunt weergeven en analyseren. Zie Metrische gegevens analyseren met Azure Monitor Metrics Explorer voor meer informatie.

• Log Analytics, een hulpprogramma in Azure Portal waarmee u logboekgegevens kunt opvragen en analyseren met behulp van de Kusto-querytaal (KQL). Zie Aan de slag met logboekquery's in Azure Monitor voor meer informatie.

• Het activiteitenlogboek, dat een gebruikersinterface in Azure Portal heeft voor het weergeven en uitvoeren van basiszoekopdrachten. Als u uitgebreidere analyses wilt uitvoeren, moet u de gegevens routeren naar Azure Monitor-logboeken en complexere query's uitvoeren in Log Analytics.

Hulpprogramma's waarmee complexere visualisaties mogelijk zijn, zijn onder andere:

• Dashboards waarmee u verschillende soorten gegevens kunt combineren in één deelvenster in Azure Portal.
• Werkmappen, aanpasbare rapporten die u kunt maken in Azure Portal. Werkmappen kunnen tekst, metrische gegevens en logboekquery's bevatten.
• Grafana, een open platformhulpprogramma dat excelleert in operationele dashboards. U kunt Grafana gebruiken om dashboards te maken die gegevens uit meerdere andere bronnen dan Azure Monitor bevatten.
• Power BI, een business analytics-service die interactieve visualisaties biedt in verschillende gegevensbronnen. U kunt Power BI zo configureren dat logboekgegevens automatisch vanuit Azure Monitor worden geïmporteerd om te profiteren van deze visualisaties.

Azure Monitor-logboeken verzamelt gegevens van uw HDInsight-clusterbronnen en van andere bewakingshulpprogramma's en gebruikt de gegevens om analyses uit meerdere bronnen te bieden.

• U moet Azure Monitor-integratie configureren om clusterlogboeken rechtstreeks vanuit uw cluster te kunnen bekijken en analyseren. Zie De beschikbaarheid van clusters bewaken met Azure Monitor-logboeken in HDInsight voor meer informatie.

• Een nieuwe Azure Monitor-integratie (preview) voor HDInsight vervangt Log Analytics. Zie de Log Analytics-migratiehandleiding voor Azure HDInsight-clusters voor meer informatie.

• Voor basisscenario's met behulp van Azure Monitor-logboeken voor het analyseren van metrische gegevens van HDInsight-clusters en het maken van gebeurteniswaarschuwingen, raadpleegt u Azure Monitor-logboeken voor het bewaken van HDInsight-clusters.

• Zie Azure Monitor-logboeken gebruiken om HDInsight-clusters te bewaken voor gedetailleerde instructies voor het inschakelen van Azure Monitor-logboeken en het toevoegen van een bewakingsoplossing voor Hadoop-clusterbewerkingen.

Azure Monitor-exporthulpprogramma's

U kunt gegevens uit Azure Monitor ophalen in andere hulpprogramma's met behulp van de volgende methoden:

• Metrische gegevens: gebruik de REST API voor metrische gegevens om metrische gegevens te extraheren uit de metrische Azure Monitor-database. De API ondersteunt filterexpressies om de opgehaalde gegevens te verfijnen. Zie azure Monitor REST API-naslaginformatie voor meer informatie.

• Logboeken: Gebruik de REST API of de bijbehorende clientbibliotheken.

• Een andere optie is het exporteren van werkruimtegegevens.

Als u aan de slag wilt gaan met de REST API voor Azure Monitor, raadpleegt u de stapsgewijze instructies voor Azure Monitoring REST API.

Kusto-query's

U kunt bewakingsgegevens analyseren in de Azure Monitor-logboeken/Log Analytics-opslag met behulp van de Kusto-querytaal (KQL).

Belangrijk

Wanneer u Logboeken selecteert in het menu van de service in de portal, wordt Log Analytics geopend met het querybereik ingesteld op de huidige service. Dit bereik betekent dat logboekquery's alleen gegevens uit dat type resource bevatten. Als u een query wilt uitvoeren die gegevens uit andere Azure-services bevat, selecteert u Logboeken in het menu Azure Monitor . Zie Log-querybereik en tijdsbereik in Azure Monitor Log Analytics voor meer informatie.

Zie de interface voor Log Analytics-query's voor een lijst met algemene query's voor elke service.

Nadat u Azure Monitor-integratie hebt ingeschakeld, kunt u logboeken (preview) selecteren in de linkernavigatiebalk voor uw HDInsight-portalpagina en vervolgens het tabblad Query's selecteren om voorbeeldquery's voor uw cluster weer te geven. De volgende query bevat bijvoorbeeld alle bekende computers die de afgelopen vijf uur geen heartbeat hebben verzonden.

// Unavailable computers 
Heartbeat
| summarize LastHeartbeat=max(TimeGenerated) by Computer
| where LastHeartbeat < ago(5h)

De volgende query haalt in de afgelopen 24 uur de tien belangrijkste resource-intensieve query's op, op basis van CPU-verbruik.

// Top 10 resource intensive queries 
LAQueryLogs
| top 10 by StatsCPUTimeMs desc nulls last

Belangrijk

Met de nieuwe Azure Monitor-integratie worden nieuwe tabellen geïmplementeerd in de Log Analytics-werkruimte. Als u zoveel mogelijk dubbelzinnigheid wilt verwijderen, zijn er minder schema's en is de schemaopmaak beter georganiseerd en gemakkelijker te begrijpen.

De nieuwe bewakingsintegratie in Azure Portal maakt gebruik van de nieuwe tabellen, maar u moet oudere query's en dashboards opnieuw bewerken om de nieuwe tabellen te kunnen gebruiken. Zie Logboektabeltoewijzingen voor de logboektabeltoewijzingen van de klassieke Azure Monitor-integratie met de nieuwe tabellen.

Waarschuwingen

Azure Monitor-waarschuwingen melden u proactief wanneer er specifieke voorwaarden worden gevonden in uw bewakingsgegevens. Met waarschuwingen kunt u problemen in uw systeem identificeren en oplossen voordat uw klanten ze opmerken. Zie Azure Monitor-waarschuwingen voor meer informatie.

Er zijn veel bronnen van algemene waarschuwingen voor Azure-resources. Zie Voorbeeldquery's voor logboekwaarschuwingen voor voorbeelden van veelvoorkomende waarschuwingen voor Azure-resources. De site Azure Monitor Baseline Alerts (AMBA) biedt een semi-geautomatiseerde methode voor het implementeren van belangrijke metrische platformwaarschuwingen, dashboards en richtlijnen. De site is van toepassing op een voortdurend uitbreidende subset van Azure-services, inclusief alle services die deel uitmaken van de Azure Landing Zone (ALZ).

Het algemene waarschuwingsschema standaardiseert het verbruik van Azure Monitor-waarschuwingsmeldingen. Zie Algemeen waarschuwingsschema voor meer informatie.

Typen waarschuwingen

U kunt een waarschuwing ontvangen voor elke metrische gegevensbron of logboekgegevensbron in het Azure Monitor-gegevensplatform. Er zijn veel verschillende typen waarschuwingen, afhankelijk van de services die u bewaakt en de bewakingsgegevens die u verzamelt. Verschillende typen waarschuwingen hebben verschillende voordelen en nadelen. Zie Het juiste waarschuwingstype voor bewaking kiezen voor meer informatie.

In de volgende lijst worden de typen Azure Monitor-waarschuwingen beschreven die u kunt maken:

• Metrische waarschuwingen evalueren met regelmatige tussenpozen resourcegegevens. Metrische gegevens kunnen metrische platformgegevens, aangepaste metrische gegevens, logboeken van Azure Monitor zijn geconverteerd naar metrische gegevens of metrische Gegevens van Application Insights. Metrische waarschuwingen kunnen ook meerdere voorwaarden en dynamische drempelwaarden toepassen.
• Met logboekwaarschuwingen kunnen gebruikers een Log Analytics-query gebruiken om resourcelogboeken met een vooraf gedefinieerde frequentie te evalueren.
• Waarschuwingen voor activiteitenlogboeken worden geactiveerd wanneer een nieuwe gebeurtenis van het activiteitenlogboek plaatsvindt die overeenkomt met gedefinieerde voorwaarden. Resource Health-waarschuwingen en Service Health-waarschuwingen zijn waarschuwingen voor activiteitenlogboeken die rapporteren over uw service en resourcestatus.

Sommige Azure-services ondersteunen ook waarschuwingen voor slimme detectie, Prometheus-waarschuwingen of aanbevolen waarschuwingsregels.

Voor sommige services kunt u op schaal bewaken door dezelfde waarschuwingsregel voor metrische gegevens toe te passen op meerdere resources van hetzelfde type dat in dezelfde Azure-regio aanwezig is. Afzonderlijke meldingen worden verzonden voor elke bewaakte resource. Zie Meerdere resources bewaken met één waarschuwingsregel voor ondersteunde Azure-services en -clouds.

Waarschuwingsregels voor HDInsight

Nadat u Azure Monitor-integratie hebt ingeschakeld, kunt u waarschuwingen selecteren in de linkernavigatiebalk voor uw HDInsight-portalpagina en vervolgens waarschuwingsregel maken om waarschuwingen te configureren. U kunt een waarschuwing baseren op elke Log Analytics-query of signalen van metrische gegevens of het activiteitenlogboek gebruiken.

In de volgende tabel worden een aantal waarschuwingsregels voor HDInsight beschreven. Deze waarschuwingen zijn slechts voorbeelden. U kunt waarschuwingen instellen voor elke vermelding van metrische gegevens, logboekvermeldingen of activiteitenlogboeken die worden vermeld in de naslaginformatie over bewakingsgegevens in HDInsight.

Waarschuwingstype	Voorwaarde	Beschrijving
Metrische gegevens	Cpu in behandeling	Wanneer de maximale cpu in behandeling groter of kleiner is dan de dynamische drempelwaarde
Activiteitenlogboek	Cluster verwijderen	Wanneer het activiteitenlogboek een gebeurtenis heeft met Category='Administrative', Signal name='Delete Cluster (HDInsight Cluster)'

Zie Azure Monitor-waarschuwingen voor een voorbeeld waarin wordt getoond hoe u een waarschuwing maakt.

Advisor-aanbevelingen

Voor sommige services, als er kritieke omstandigheden of aanstaande wijzigingen optreden tijdens resourcebewerkingen, wordt een waarschuwing weergegeven op de pagina Serviceoverzicht in de portal. Meer informatie en aanbevolen oplossingen voor de waarschuwing vindt u in Advisor-aanbevelingen onder Bewaking in het linkermenu. Tijdens normale bewerkingen worden er geen aanbevelingen van advisor weergegeven.

Zie het overzicht van Azure Advisor voor meer informatie over Azure Advisor.

Gerelateerde inhoud

• Zie de naslaginformatie over hdInsight-bewakingsgegevens voor een verwijzing naar de metrische gegevens, logboeken en andere belangrijke waarden die zijn gemaakt voor HDInsight.
• Zie Azure-resources bewaken met Azure Monitor voor algemene informatie over het bewaken van Azure-resources.