Sdílet prostřednictvím

Referenční informace k datům monitorování služby Azure HDInsight

  • Článek

Tento článek obsahuje všechny referenční informace o monitorování pro tuto službu.

Podrobnosti o datech, která můžete shromažďovat pro Azure HDInsight a jak je používat, najdete v tématu Monitorování SLUŽBY HDInsight .

Metriky

V této části jsou uvedeny všechny automaticky shromážděné metriky platformy pro tuto službu. Tyto metriky jsou také součástí globálního seznamu všech metrik platformy podporovaných ve službě Azure Monitor.

Informace o uchovávání metrik najdete v přehledu metrik služby Azure Monitor.

Podporované metriky pro Microsoft.HDInsight/clustery

Následující tabulka uvádí metriky dostupné pro typ prostředku Microsoft.HDInsight/clusters.

  • Všechny sloupce nemusí být v každé tabulce.
  • Některé sloupce můžou být mimo oblast zobrazení stránky. Výběrem možnosti Rozbalit tabulku zobrazíte všechny dostupné sloupce.

Záhlaví tabulky

  • Kategorie – skupina metrik nebo klasifikace.
  • Metrika – zobrazovaný název metriky, jak se zobrazuje na webu Azure Portal.
  • Název v rozhraní REST API – název metriky, který se označuje v rozhraní REST API.
  • Jednotka – měrná jednotka .
  • Agregace – výchozí typ agregace . Platné hodnoty: Průměr (Průměr), Minimum (Minimum), Maximum (Maximum), Celkem (Součet), Počet.
  • - Dimenze dostupné pro metriku
  • Intervaly časových zrn - , ve kterých se metrika vzorkuje. Například označuje, PT1M že se metrika vzorkuje každou minutu, PT30M každých 30 minut, PT1H každou hodinu atd.
  • DS Export – určuje, jestli je metrika exportovatelná do protokolů služby Azure Monitor prostřednictvím nastavení diagnostiky. Informace o exportu metrik najdete v tématu Vytvoření nastavení diagnostiky ve službě Azure Monitor.
Kategorie Metrika Název v rozhraní REST API Unit Agregace Dimenze Časová zrnka DS Export
Dostupnost Požadavky brány zařazené do kategorií

Počet požadavků brány podle kategorií (1xx/2xx/3xx/4xx/5xx)		 CategorizedGatewayRequests Počet Count, Total (Sum) HttpStatus PT1M, PT1H, P1D Ano
Dostupnost Požadavky brány

Počet požadavků brány		 GatewayRequests Počet Count, Total (Sum) HttpStatus PT1M, PT1H, P1D Ano
Dostupnost REST proxy Consumer RequestThroughput

Počet uživatelských požadavků na proxy kafka REST		 KafkaRestProxy.ConsumerRequest.m1_delta CountPerSecond Celkem (součet) Machine, Topic PT1M, PT1H, P1D Ano
Dostupnost Neúspěšné požadavky příjemce proxy serveru REST

Výjimky požadavků uživatelů		 KafkaRestProxy.ConsumerRequestFail.m1_delta CountPerSecond Celkem (součet) Machine, Topic PT1M, PT1H, P1D Ano
Dostupnost Požadavek příjemce proxy rest proxy serveru

Latence zpráv v požadavku příjemce prostřednictvím proxy serveru Kafka REST		 KafkaRestProxy.ConsumerRequestTime.p95 Milisekundy Průměr Machine, Topic PT1M, PT1H, P1D Ano
Dostupnost Backlog požadavků příjemce proxy serveru REST

Délka fronty proxy serveru REST příjemce		 KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 Milisekundy Průměr Machine, Topic PT1M, PT1H, P1D Ano
Dostupnost REST proxy Producer MessageThroughput

Počet zpráv producenta prostřednictvím proxy serveru REST Kafka		 KafkaRestProxy.MessagesIn.m1_delta CountPerSecond Celkem (součet) Machine, Topic PT1M, PT1H, P1D Ano
Dostupnost REST proxy Consumer MessageThroughput

Počet uživatelských zpráv prostřednictvím proxy serveru REST Kafka		 KafkaRestProxy.MessagesOut.m1_delta CountPerSecond Celkem (součet) Machine, Topic PT1M, PT1H, P1D Ano
Dostupnost REST proxy ConcurrentConnections

Počet souběžných připojení prostřednictvím proxy serveru Kafka REST		 KafkaRestProxy.OpenConnections Počet Celkem (součet) Machine, Topic PT1M, PT1H, P1D Ano
Dostupnost REST proxy Producer RequestThroughput

Počet žádostí producenta na proxy server REST Kafka		 KafkaRestProxy.ProducerRequest.m1_delta CountPerSecond Celkem (součet) Machine, Topic PT1M, PT1H, P1D Ano
Dostupnost Neúspěšné požadavky producenta proxy serveru REST

Výjimky požadavků producenta		 KafkaRestProxy.ProducerRequestFail.m1_delta CountPerSecond Celkem (součet) Machine, Topic PT1M, PT1H, P1D Ano
Dostupnost REST proxy Producer RequestLatency

Latence zpráv v požadavku producenta prostřednictvím proxy serveru Kafka REST		 KafkaRestProxy.ProducerRequestTime.p95 Milisekundy Průměr Machine, Topic PT1M, PT1H, P1D Ano
Dostupnost Backlog požadavků na proxy server REST

Délka fronty proxy proxy serveru producenta		 KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 Milisekundy Průměr Machine, Topic PT1M, PT1H, P1D Ano
Dostupnost Počet aktivních pracovníků

Počet aktivních pracovníků		 NumActiveWorkers Počet Průměr, Maximum, Minimum MetricName PT1M, PT1H, P1D Ano
Dostupnost Čekající procesor

Čekající požadavky na procesor v YARN		 PendingCPU Počet Průměr, Maximum, Minimum <žádné> PT1M, PT1H, P1D Ano
Dostupnost Čekající paměť

Čekající požadavky na paměť v YARN		 PendingMemory Počet Průměr, Maximum, Minimum <žádné> PT1M, PT1H, P1D Ano

Rozměry metrik

Informace o rozměrech metrik najdete v tématu Vícerozměrné metriky.

Tato služba má přidružené následující dimenze ke svým metrikám.

Dimenze pro tabulku Microsoft.HDInsight/clusters zahrnují:

  • HttpStatus
  • Počítač
  • Téma
  • Název metriky

Protokoly prostředků

Tato část obsahuje seznam typů protokolů prostředků, které můžete pro tuto službu shromažďovat. Oddíl načítá ze seznamu všech typů protokolů prostředků podporovaných ve službě Azure Monitor.

HDInsight nepoužívá protokoly prostředků služby Azure Monitor ani nastavení diagnostiky. Protokoly se shromažďují jinými metodami, včetně použití agenta Log Analytics.

Tabulky protokolů služby Azure Monitor

Tato část uvádí tabulky protokolů služby Azure Monitor relevantní pro tuto službu, které jsou k dispozici pro dotazování službou Log Analytics pomocí dotazů Kusto. Tabulky obsahují data protokolu prostředků a případně i více v závislosti na tom, co se na nich shromažďuje a směruje.

Clustery HDInsight

Microsoft.HDInsight/Clustery

Dostupné protokoly a metriky se liší v závislosti na typu clusteru HDInsight.

Mapování tabulek protokolu

Nová integrace služby Azure Monitor implementuje nové tabulky v pracovním prostoru služby Log Analytics. Následující tabulky ukazují mapování tabulek protokolů z klasické integrace služby Azure Monitor na novou.

Sloupec Nová tabulka zobrazuje název nové tabulky. Řádek Popis popisuje typ protokolů nebo metrik, které jsou v této tabulce k dispozici. Sloupec klasické tabulky je seznam všech tabulek z klasické integrace služby Azure Monitor, jejíž data se teď nacházejí v nové tabulce.

Poznámka:

Některé tabulky jsou zcela nové a nejsou založené na předchozích tabulkách.

Obecné tabulky úloh

Nová tabulka Popis Klasická tabulka
HDInsightAmbariSystemMetrics Systémové metriky shromážděné z Ambari Metriky teď pocházejí z každého uzlu v clusteru (s výjimkou hraničních uzlů) místo jenom ze dvou hlavních uzlů. Každá metrika je teď sloupec a každá metrika se na každý záznam hlásí jednou. metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL, metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL, metrics_network_out_CL
HDInsightAmbariClusterAlerts Upozornění clusteru Ambari z každého uzlu v clusteru (s výjimkou hraničních uzlů). Každé upozornění je záznam v této tabulce. metrics_cluster_alerts_CL
HDInsightSecurityLogs Záznamy z protokolů auditu a ověřování Ambari. log_ambari_audit_CL, log_auth_CL
HDInsightRangerAuditLogs Všechny záznamy z protokolu auditování Ranger pro clustery ESP. ranger_audit_logs_CL
HDInsightGatewayAuditLogs_CL Uzly brány auditují informace. Stejný formát jako klasická tabulka a pořád se nachází v části Vlastní protokoly. log_gateway_Audit_CL

Úloha Sparku

Poznámka:

Tabulky související s aplikací Spark byly nahrazeny 11 novými tabulkami Sparku, které poskytují podrobnější informace o úlohách Sparku.

Nová tabulka Popis Klasická tabulka
HdInsightSparkLogs Všechny protokoly související se Sparkem a související komponentou: Livy a Jupyter. log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL, log_sparkappsdrivers_CL
HDInsightSparkApplicationEvents Informace o událostech pro aplikace Spark, včetně času odeslání a dokončení, ID aplikace a Názvu aplikace Užitečné pro sledování, kdy se aplikace spustily a dokončily.
HDInsightSparkBlockManagerEvents Informace o událostech související se Správcem bloků Sparku Obsahuje informace, jako je využití paměti exekutoru.
HDInsightSparkEnvironmentEvents Informace o událostech souvisejících s prostředím, ve které se aplikace spouští, včetně režimu nasazení Sparku, hlavního serveru a informací o exekutoru.
HDInsightSparkExecutorEvents Informace o událostech o využití Exekutoru Sparku pro aplikaci
HDInsightSparkExtraEvents Informace o událostech, které se nevejdou do žádné jiné tabulky Sparku.
HDInsightSparkJobEvents Informace o úlohách Sparku, včetně počátečních a koncových časů, výsledků a přidružených fází.
HDInsightSparkSqlExecutionEvents Informace o událostech dotazů Spark SQL, včetně informací o plánu a popisu a počátečního a koncového času
HDInsightSparkStageEvents Informace o událostech pro fáze Sparku, včetně jejich časů zahájení a dokončení, stavu selhání a podrobných informací o spuštění.
HDInsightSparkStageTaskAccumulables Metriky výkonu pro fáze a úlohy
HdInsightTaskEvents Informace o událostech úloh Sparku, včetně času zahájení a dokončení, přidružených fází, stavu spuštění a typu úlohy.
HDInsightJupyterNotebookEvents Informace o událostech pro poznámkové bloky Jupyter

Úloha Hadoop/YARN

Nová tabulka Popis Klasická tabulka
HdInsightHadoopAndYarnMetrics Metriky JMX z architektur Hadoop a YARN Obsahuje všechny stejné metriky JMX jako předchozí tabulky vlastních protokolů a další důležité metriky: Server časové osy, Správce uzlů a Server historie úloh. Obsahuje jednu metriku na záznam. metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL, metrics_resourcemanager_queue_root_thriftsvr_CL
HDInsightHadoopAndYarnLogs Všechny protokoly generované z architektur Hadoop a YARN. log_mrjobsummary_CL, log_resourcemanager_CL, log_timelineserver_CL, log_nodemanager_CL

Úloha Hive/LLAP

Nová tabulka Popis Klasická tabulka
Metriky HDInsightHiveAndLLAP Metriky JMX z architektur Hive a LLAP Obsahuje všechny stejné metriky JMX jako předchozí tabulky vlastních protokolů, jednu metriku na záznam. llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL, llap_metrics_cache_CL
HdInsightHiveAndLLAPLogs Protokoly generované z Hivu, LLAP a souvisejících komponent: WebHCat a Zeppelin. log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL, log_zeppelin_zeppelin_CL

Úloha Kafka

Nová tabulka Popis Klasická tabulka
HDInsightKafkaMetrics Metriky JMX ze systému Kafka Obsahuje všechny stejné metriky JMX jako staré tabulky vlastních protokolů a další důležité metriky. Jedna metrika na záznam metrics_kafka_CL
HdInsightKafkaLogs Všechny protokoly vygenerované ze zprostředkovatelů Kafka. log_kafkaserver_CL, log_kafkacontroller_CL

Úloha HBase

Nová tabulka Popis Klasická tabulka
HDInsightHBaseMetrics Metriky JMX z HBase Obsahuje všechny stejné metriky JMX z předchozích tabulek. Na rozdíl od předchozích tabulek obsahuje každý řádek jednu metriku. metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_replication_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL, metrics_hmaster_fs_CL
HdInsightHBaseLogs Protokoly z HBase a souvisejících komponent: Phoenix a HDFS. log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL, log_garbage_collector_CL

Úloha Oozie

Nová tabulka Popis Klasická tabulka
Protokoly HDInsightOozie Všechny protokoly vygenerované z rozhraní Oozie. Log_oozie_CL

Protokol aktivit

Propojená tabulka uvádí operace, které lze zaznamenat v protokolu aktivit pro tuto službu. Tyto operace jsou podmnožinou všech možných operací poskytovatele prostředků v protokolu aktivit.

Další informace o schématu položek protokolu aktivit naleznete v tématu Schéma protokolu aktivit.

Související obsah