共用方式為


Azure HDInsight 監視數據參考

本文包含此服務的所有監視參考資訊。

如需您可以針對 Azure HDInsight 收集的數據,以及如何使用它,請參閱 監視 HDInsight

計量

本節列出針對此服務的所有自動收集平台計量。 這些計量也是 Azure 監視器中支援的所有平台計量全域清單的一部分。

如需計量保留的相關資訊,請參閱 Azure 監視器計量概觀

Microsoft.HDInsight/clusters 支援的計量

下表列出適用於 Microsoft.HDInsight/clusters 資源類型的計量。

  • 所有資料行可能不存在於每個資料表中。
  • 某些資料行可能超出頁面的檢視區域。 選取 [展開資料表] 以檢視所有可用的資料行。

資料表標題

  • 類別 - 計量群組或分類。
  • 計量 - Azure 入口網站中顯示的計量顯示名稱。
  • REST API 中的名稱 - REST API 中所指的計量名稱。
  • 單位 - 測量單位。
  • 彙總 - 預設彙總類型。 有效值:平均值 (Avg)、最小值 (Min)、最大值 (Max)、總計 (Sum)、計數。
  • 維度 - 計量可用的維度
  • 時間精細度 - 取樣計量的間隔。 例如,PT1M 表示計量會每分鐘取樣、每 30 分鐘PT30M、每小時 PT1H,以此類推。
  • DS 匯出 - 計量是否可透過診斷設定,匯出至 Azure 監視器記錄。 如需匯出計量的資訊,請參閱在 Azure 監視器中建立診斷設定
類別 計量 REST API 中的名稱 單位 彙總 維度 時間精細度 DS 匯出
可用性 分類的閘道要求

依類別的網關要求數目(1xx/2xx/3xx/4xx/5xx)
CategorizedGatewayRequests 計數 Count、Total (Sum) HttpStatus PT1M、PT1H、P1D Yes
可用性 閘道要求

閘道要求數目
GatewayRequests 計數 Count、Total (Sum) HttpStatus PT1M、PT1H、P1D Yes
可用性 REST Proxy 取用者 RequestThroughput

Kafka REST Proxy 的取用者要求數目
KafkaRestProxy.ConsumerRequest.m1_delta 每秒計數 總計 (總和) Machine, Topic PT1M、PT1H、P1D Yes
可用性 REST Proxy 取用者要求失敗

取用者要求例外狀況
KafkaRestProxy.ConsumerRequestFail.m1_delta 每秒計數 總計 (總和) Machine, Topic PT1M、PT1H、P1D Yes
可用性 REST Proxy 取用者 RequestLatency

透過 Kafka REST Proxy 在取用者要求中的訊息延遲
KafkaRestProxy.ConsumerRequestTime.p95 毫秒 平均 Machine, Topic PT1M、PT1H、P1D Yes
可用性 REST Proxy 取用者要求待辦專案

取用者 REST Proxy 佇列長度
KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 毫秒 平均 Machine, Topic PT1M、PT1H、P1D Yes
可用性 REST Proxy 產生者 MessageThroughput

透過 Kafka REST Proxy 產生者訊息的數目
KafkaRestProxy.MessagesIn.m1_delta 每秒計數 總計 (總和) Machine, Topic PT1M、PT1H、P1D Yes
可用性 REST Proxy 取用者 MessageThroughput

透過 Kafka REST Proxy 的取用者訊息數目
KafkaRestProxy.MessagesOut.m1_delta 每秒計數 總計 (總和) Machine, Topic PT1M、PT1H、P1D Yes
可用性 REST proxy ConcurrentConnections

透過 Kafka REST Proxy 的並行連線數目
KafkaRestProxy.OpenConnections 計數 總計 (總和) Machine, Topic PT1M、PT1H、P1D Yes
可用性 REST Proxy 產生者 RequestThroughput

Kafka REST Proxy 的產生者要求數目
KafkaRestProxy.ProducerRequest.m1_delta 每秒計數 總計 (總和) Machine, Topic PT1M、PT1H、P1D Yes
可用性 REST Proxy 產生者要求失敗

產生者要求例外狀況
KafkaRestProxy.ProducerRequestFail.m1_delta 每秒計數 總計 (總和) Machine, Topic PT1M、PT1H、P1D Yes
可用性 REST Proxy 產生者 RequestLatency

透過 Kafka REST Proxy 在產生者要求中的訊息延遲
KafkaRestProxy.ProducerRequestTime.p95 毫秒 平均 Machine, Topic PT1M、PT1H、P1D Yes
可用性 REST Proxy 產生者要求待辦專案

產生者 REST Proxy 佇列長度
KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 毫秒 平均 Machine, Topic PT1M、PT1H、P1D Yes
可用性 作用中背景工作角色數目

作用中背景工作角色數目
NumActiveWorkers 計數 平均值、最大值、最小值 MetricName PT1M、PT1H、P1D Yes
可用性 暫止 CPU

YARN 中的暫止 CPU 要求
PendingCPU 計數 平均值、最大值、最小值 <none> PT1M、PT1H、P1D Yes
可用性 暫止記憶體

YARN 中的暫止記憶體要求
PendingMemory 計數 平均值、最大值、最小值 <none> PT1M、PT1H、P1D Yes

載入計量維度

如需計量維度是什麼的資訊,請參閱多維度計量

此服務具有下列與其計量相關聯的維度。

Microsoft.HDInsight/clusters 數據表的維度包括:

  • HttpStatus
  • 機器
  • 主題
  • MetricName

資源記錄

本節列出您可以針對此服務收集的資源記錄類型。 該區段會從 Azure 監視器中支援的所有資源記錄類別類型清單提取。

HDInsight 不會使用 Azure 監視器資源記錄或診斷設定。 記錄是由其他方法收集,包括使用Log Analytics代理程式。

Azure 監視器記錄資料表

本節列出與此服務相關的 Azure 監視器記錄資料表,並且該資料表可供 Log Analytics 使用 Kusto 查詢進行查詢。 資料表包含資源記錄資料,而且可能包含更多資料,具體取決於所收集及路由傳送至此的內容。

HDInsight 叢集

Microsoft.HDInsight/Clusters

可用的記錄和計量會根據您的 HDInsight 叢集類型而有所不同。

記錄數據表對應

新的 Azure 監視器整合會在 Log Analytics 工作區中實作新資料表。 下表顯示從傳統 Azure 監視器整合到新記錄數據表的對應。

[新增資料表] 資料行會顯示新數據表的名稱。 [描述] 資料列描述此數據表中可用的記錄/計量類型。 [傳統數據表] 數據行是傳統 Azure 監視器整合中所有數據表的清單,其數據現在會出現在新數據表中。

注意

有些數據表是全新的數據表,而不是以先前的數據表為基礎。

一般工作負載資料表

新增資料表 描述 傳統數據表
HDInsightAmbariSystemMetrics 從Ambari收集的系統計量。 計量現在來自叢集中的每個節點 (但邊緣節點除外),而不只是兩個前端節點。 每個計量現在都是一個資料行,而每個記錄都會報告一次每個計量。 metrics_cpu_nice_cl、metrics_cpu_system_cl、metrics_cpu_user_cl、metrics_memory_cache_CL、metrics_memory_swap_CL、metrics_memory_total_CLmetrics_memory_buffer_CL、metrics_load_1min_CL、metrics_load_cpu_CL、metrics_load_nodes_CL、metrics_load_procs_CL、metrics_network_in_CL、metrics_network_out_CL
HDInsightAmbariClusterAlerts 來自叢集中每個節點的Ambari叢集警示(邊緣節點除外)。 每個警示都是此資料表中的記錄。 metrics_cluster_alerts_CL
HDInsightSecurityLogs 來自Ambari稽核和驗證記錄的記錄。 log_ambari_audit_CL,log_auth_CL
HDInsightRangerAuditLogs ESP 叢集 Ranger 稽核記錄檔中的所有記錄。 ranger_audit_logs_CL
HDInsightGatewayAuditLogs_CL 網關節點會稽核資訊。 與傳統數據表的格式相同,但仍位於 [自定義記錄] 區段中。 log_gateway_Audit_CL

Spark 工作負載

注意

Spark 應用程式相關資料表已取代為 11 個新的 Spark 資料表,可讓您更深入地瞭解 Spark 工作負載。

新增資料表 描述 傳統數據表
HDInsightSparkLogs 與 Spark 及其相關元件相關的所有記錄:Livy 和 Jupyter。 log_livy_CL、log_jupyter_CL、log_spark_CL、log_sparkappsexecutors_CL、log_sparkappsdrivers_CL
HDInsightSparkApplicationEvents Spark 應用程式的事件資訊,包括提交和完成時間、應用程式識別碼和 AppName。 適合用來追蹤應用程式何時啟動和完成。
HDInsightSparkBlockManagerEvents 與Spark區塊管理員相關的事件資訊。 包含執行程式記憶體使用量等資訊。
HDInsightSparkEnvironmentEvents 與應用程式執行環境相關的事件資訊,包括 Spark 部署模式、Master,以及執行程式的相關信息。
HDInsightSparkExecutorEvents 應用程式針對 Spark 執行程式使用方式的事件資訊。
HDInsightSparkExtraEvents 不符合任何其他Spark數據表的事件資訊。
HDInsightSparkJobEvents Spark 作業的相關信息,包括其開始和結束時間、結果和相關聯的階段。
HDInsightSparkSqlExecutionEvents Spark SQL 查詢的事件資訊,包括其計劃資訊和描述,以及開始和結束時間。
HDInsightSparkStageEvents Spark 階段的事件資訊,包括其開始和完成時間、失敗狀態,以及詳細的執行資訊。
HDInsightSparkStageTaskAccumulables 階段和工作的效能計量。
HDInsightTaskEvents Spark 工作的事件資訊,包括開始和完成時間、相關聯的階段、執行狀態和工作類型。
HDInsightJupyterNotebookEvents Jupyter Notebook 的事件資訊。

Hadoop/YARN 工作負載

新增資料表 描述 傳統數據表
HDInsightHadoopAndYarnMetrics Hadoop 和 YARN 架構的 JMX 計量。 包含與先前自定義記錄數據表相同的 JMX 計量,以及更重要的計量:時間軸伺服器、節點管理員和作業歷程記錄伺服器。 每個記錄包含一個計量。 metrics_resourcemanager_clustermetrics_CL、metrics_resourcemanager_jvm_CL、metrics_resourcemanager_queue_root_CL、metrics_resourcemanager_queue_root_joblauncher_CL、metrics_resourcemanager_queue_root_default_CL、metrics_resourcemanager_queue_root_thriftsvr_CL
HDInsightHadoopAndYarnLogs 從 Hadoop 和 YARN 架構產生的所有記錄。 log_mrjobsummary_CL、log_resourcemanager_CL、log_timelineserver_CL、log_nodemanager_CL

Hive/LLAP 工作負載

新增資料表 描述 傳統數據表
HDInsightHiveAndLLAPMetrics 來自Hive和 LLAP 架構的 JMX 計量。 包含與先前自定義記錄數據表相同的所有 JMX 計量,每個記錄各一個計量。 llap_metrics_hiveserver2_CL、llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL、llap_metrics_llap_daemon_info_CL、llap_metrics_buddy_allocator_info_CL、llap_metrics_deamon_jvm_CL、llap_metrics_io_CL、llap_metrics_executor_metrics_CL、llap_metrics_metricssystem_stats_CL、llap_metrics_cache_CL
HDInsightHiveAndLLAPLogs 從 Hive、LLAP 及其相關元件產生的記錄:WebHCat 和 Zeppelin。 log_hivemetastore_CL log_hiveserver2_CL、log_hiveserve2interactive_CL、log_webhcat_CL、log_zeppelin_zeppelin_CL

Kafka 工作負載

新增資料表 描述 傳統數據表
HDInsightKafkaMetrics Kafka 的 JMX 計量。 包含與舊自定義記錄數據表相同的所有 JMX 計量,以及其他重要的計量。 每個記錄一個計量。 metrics_kafka_CL
HDInsightKafkaLogs 從 Kafka Brokers 產生的所有記錄。 log_kafkaserver_CL、log_kafkacontroller_CL

HBase 工作負載

新增資料表 描述 傳統數據表
HDInsightHBaseMetrics 來自 HBase 的 JMX 計量。 包含先前數據表中的所有相同 JMX 計量。 與上一個數據表相反,每個數據列都包含一個計量。 metrics_regionserver_CL、metrics_regionserver_wal_CL、metrics_regionserver_ipc_CL、metrics_regionserver_os_CL、metrics_regionserver_replication_CL、metrics_restserver_CL、metrics_restserver_jvm_CL、metrics_hmaster_assignmentmanager_CL、metrics_hmaster_ipc_CL、metrics_hmaser_os_CL、metrics_hmaster_balancer_CL、metrics_hmaster_jvm_CL、metrics_hmaster_CL、metrics_hmaster_fs_CL
HDInsightHBaseLogs 來自 HBase 及其相關元件的記錄:Phoenix 和 HDFS。 log_regionserver_CL、log_restserver_CL、log_phoenixserver_CL、log_hmaster_CL、log_hdfsnamenode_CL、log_garbage_collector_CL

Oozie 工作負載

新增資料表 描述 傳統數據表
HDInsightOozieLogs 所有從 Oozie 架構產生的記錄。 Log_oozie_CL

活動記錄檔

連結的資料表會列出此服務活動記錄檔中可記錄的操作。 這些操作是活動記錄中的所有可能資源提供者操作的子集。

如需活動記錄項目結構描述的詳細資訊,請參閱活動記錄結構描述