Dela via

Analysera loggar för Apache Kafka i HDInsight

  • Artikel

Lär dig hur du använder Azure Monitor-loggar för att analysera loggar som genererats av Apache Kafka i HDInsight.

Kommentar

Den här artikeln uppdaterades nyligen för att använda termen Azure Monitor-loggar i stället för Log Analytics. Loggdata lagras fortfarande på en Log Analytics-arbetsyta och samlas fortfarande in och analyseras av samma Log Analytics-tjänst. Vi uppdaterar terminologin för att bättre återspegla loggarnas roll i Azure Monitor. Mer information finns i Terminologiändringar i Azure Monitor.

Loggplats

Apache Kafka-loggar i klustret finns på /var/log/kafka. Kafka-loggar sparas inte eller sparas inte i klusterlivscykler, oavsett om hanterade diskar används. I följande tabell visas tillgängliga loggar.

Loggas beskrivning
kafka.out stdout och stderr av Kafka-processen. Du hittar Kafka-start- och avstängningsloggar i den här filen.
server.log Huvudloggen för Kafka-servern. Alla Kafka broker loggar hamnar här.
controller.log Kontrollantloggar om koordinatorn fungerar som styrenhet.
statechange.log Alla tillståndsändringshändelser till koordinatorer loggas i den här filen.
kafka-gc.log Kafka Skräpinsamlingsstatistik.

Aktivera Azure Monitor-loggar för Apache Kafka

Stegen för att aktivera Azure Monitor-loggar för HDInsight är desamma för alla HDInsight-kluster. Använd följande länkar för att förstå hur du skapar och konfigurerar de tjänster som krävs:

  1. Skapa en Log Analytics-arbetsyta. Mer information finns i dokumentet Loggar i Azure Monitor .

  2. Skapa en Kafka på HDInsight-kluster. Mer information finns i dokumentet Start with Apache Kafka on HDInsight (Starta med Apache Kafka i HDInsight ).

  3. Konfigurera Kafka-klustret så att det använder Azure Monitor-loggar. Mer information finns i dokumentet Använda Azure Monitor-loggar för att övervaka HDInsight .

Viktigt!

Det kan ta cirka 20 minuter innan data är tillgängliga för Azure Monitor-loggar.

Frågeloggar

  1. Från Azure Portal väljer du din Log Analytics-arbetsyta.

  2. Välj Loggar under Allmänt på den vänstra menyn. Härifrån kan du söka i data som samlats in från Kafka. Ange en fråga i frågefönstret och välj sedan Kör. Följande är några exempelsökningar:

  • Diskanvändning:

    Perf
| where ObjectName == "Logical Disk" and CounterName == "Free Megabytes" and InstanceName == "_Total" and ((Computer startswith_cs "hn" and Computer contains_cs "-") or (Computer startswith_cs "wn" and Computer contains_cs "-")) 
| summarize AggregatedValue = avg(CounterValue) by Computer, bin(TimeGenerated, 1h)

  • CPU-användning:

    Perf 
| where CounterName == "% Processor Time" and InstanceName == "_Total" and ((Computer startswith_cs "hn" and Computer contains_cs "-") or (Computer startswith_cs "wn" and Computer contains_cs "-")) 
| summarize AggregatedValue = avg(CounterValue) by Computer, bin(TimeGenerated, 1h)

  • Inkommande meddelanden per sekund: (Ersätt your_kafka_cluster_name med klustrets namn.)

    metrics_kafka_CL 
| where ClusterName_s == "your_kafka_cluster_name" and InstanceName_s == "kafka-BrokerTopicMetrics-MessagesInPerSec-Count" 
| summarize AggregatedValue = avg(kafka_BrokerTopicMetrics_MessagesInPerSec_Count_value_d) by HostName_s, bin(TimeGenerated, 1h)

  • Inkommande byte per sekund: (Ersätt wn0-kafka med ett värdnamn för arbetsnoden.)

    metrics_kafka_CL 
| where HostName_s == "wn0-kafka" and InstanceName_s == "kafka-BrokerTopicMetrics-BytesInPerSec-Count" 
| summarize AggregatedValue = avg(kafka_BrokerTopicMetrics_BytesInPerSec_Count_value_d) by bin(TimeGenerated, 1h)

  • Utgående byte per sekund: (Ersätt your_kafka_cluster_name med klustrets namn.)

    metrics_kafka_CL 
| where ClusterName_s == "your_kafka_cluster_name" and InstanceName_s == "kafka-BrokerTopicMetrics-BytesOutPerSec-Count" 
| summarize AggregatedValue = avg(kafka_BrokerTopicMetrics_BytesOutPerSec_Count_value_d) by bin(TimeGenerated, 1h)

    Du kan också ange * för att söka efter alla typer som loggas. En lista över loggar som är tillgängliga för frågor finns i Kafka-arbetsbelastning.

    Apache kafka Log Analytics cpu-användning.

Nästa steg

Mer information om Azure Monitor finns i Översikt över Azure Monitor och Fråga Azure Monitor-loggar för att övervaka HDInsight-kluster.

Mer information om hur du arbetar med Apache Kafka finns i följande dokument: