Azure HDInsight 監視數據參考
本文包含此服務的所有監視參考資訊。
如需您可以針對 Azure HDInsight 收集的數據，以及如何使用它，請參閱 監視 HDInsight 。
計量
本節列出針對此服務的所有自動收集平台計量。 這些計量也是 Azure 監視器中支援的所有平台計量全域清單的一部分。
如需計量保留的相關資訊，請參閱 Azure 監視器計量概觀。
Microsoft.HDInsight/clusters 支援的計量
下表列出適用於 Microsoft.HDInsight/clusters 資源類型的計量。
- 所有資料行可能不存在於每個資料表中。
- 某些資料行可能超出頁面的檢視區域。 選取 [展開資料表] 以檢視所有可用的資料行。
資料表標題
- 類別 - 計量群組或分類。
- 計量 - Azure 入口網站中顯示的計量顯示名稱。
- REST API 中的名稱 - REST API 中所指的計量名稱。
- 單位 - 測量單位。
- 彙總 - 預設彙總類型。 有效值：平均值 (Avg)、最小值 (Min)、最大值 (Max)、總計 (Sum)、計數。
- 維度 - 計量可用的維度。
- 時間精細度 - 取樣計量的間隔。 例如，
PT1M表示計量會每分鐘取樣、每 30 分鐘PT30M、每小時PT1H，以此類推。 - DS 匯出 - 計量是否可透過診斷設定，匯出至 Azure 監視器記錄。 如需匯出計量的資訊，請參閱在 Azure 監視器中建立診斷設定。
| 類別 | 計量 | REST API 中的名稱 | 單位 | 彙總 | 維度 | 時間精細度 | DS 匯出 |
|---|---|---|---|---|---|---|---|
| 可用性 | 分類的閘道要求 依類別的網關要求數目（1xx/2xx/3xx/4xx/5xx） |
CategorizedGatewayRequests |
計數 | Count、Total （Sum） | HttpStatus |
PT1M、PT1H、P1D | Yes |
| 可用性 | 閘道要求 閘道要求數目 |
GatewayRequests |
計數 | Count、Total （Sum） | HttpStatus |
PT1M、PT1H、P1D | Yes |
| 可用性 | REST Proxy 取用者 RequestThroughput Kafka REST Proxy 的取用者要求數目 |
KafkaRestProxy.ConsumerRequest.m1_delta |
每秒計數 | 總計（總和） | Machine, Topic |
PT1M、PT1H、P1D | Yes |
| 可用性 | REST Proxy 取用者要求失敗 取用者要求例外狀況 |
KafkaRestProxy.ConsumerRequestFail.m1_delta |
每秒計數 | 總計（總和） | Machine, Topic |
PT1M、PT1H、P1D | Yes |
| 可用性 | REST Proxy 取用者 RequestLatency 透過 Kafka REST Proxy 在取用者要求中的訊息延遲 |
KafkaRestProxy.ConsumerRequestTime.p95 |
毫秒 | 平均 | Machine, Topic |
PT1M、PT1H、P1D | Yes |
| 可用性 | REST Proxy 取用者要求待辦專案 取用者 REST Proxy 佇列長度 |
KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 |
毫秒 | 平均 | Machine, Topic |
PT1M、PT1H、P1D | Yes |
| 可用性 | REST Proxy 產生者 MessageThroughput 透過 Kafka REST Proxy 產生者訊息的數目 |
KafkaRestProxy.MessagesIn.m1_delta |
每秒計數 | 總計（總和） | Machine, Topic |
PT1M、PT1H、P1D | Yes |
| 可用性 | REST Proxy 取用者 MessageThroughput 透過 Kafka REST Proxy 的取用者訊息數目 |
KafkaRestProxy.MessagesOut.m1_delta |
每秒計數 | 總計（總和） | Machine, Topic |
PT1M、PT1H、P1D | Yes |
| 可用性 | REST proxy ConcurrentConnections 透過 Kafka REST Proxy 的並行連線數目 |
KafkaRestProxy.OpenConnections |
計數 | 總計（總和） | Machine, Topic |
PT1M、PT1H、P1D | Yes |
| 可用性 | REST Proxy 產生者 RequestThroughput Kafka REST Proxy 的產生者要求數目 |
KafkaRestProxy.ProducerRequest.m1_delta |
每秒計數 | 總計（總和） | Machine, Topic |
PT1M、PT1H、P1D | Yes |
| 可用性 | REST Proxy 產生者要求失敗 產生者要求例外狀況 |
KafkaRestProxy.ProducerRequestFail.m1_delta |
每秒計數 | 總計（總和） | Machine, Topic |
PT1M、PT1H、P1D | Yes |
| 可用性 | REST Proxy 產生者 RequestLatency 透過 Kafka REST Proxy 在產生者要求中的訊息延遲 |
KafkaRestProxy.ProducerRequestTime.p95 |
毫秒 | 平均 | Machine, Topic |
PT1M、PT1H、P1D | Yes |
| 可用性 | REST Proxy 產生者要求待辦專案 產生者 REST Proxy 佇列長度 |
KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 |
毫秒 | 平均 | Machine, Topic |
PT1M、PT1H、P1D | Yes |
| 可用性 | 作用中背景工作角色數目 作用中背景工作角色數目 |
NumActiveWorkers |
計數 | 平均值、最大值、最小值 | MetricName |
PT1M、PT1H、P1D | Yes |
| 可用性 | 暫止 CPU YARN 中的暫止 CPU 要求 |
PendingCPU |
計數 | 平均值、最大值、最小值 | <none> | PT1M、PT1H、P1D | Yes |
| 可用性 | 暫止記憶體 YARN 中的暫止記憶體要求 |
PendingMemory |
計數 | 平均值、最大值、最小值 | <none> | PT1M、PT1H、P1D | Yes |
載入計量維度
如需計量維度是什麼的資訊，請參閱多維度計量。
此服務具有下列與其計量相關聯的維度。
Microsoft.HDInsight/clusters 數據表的維度包括：
- HttpStatus
- 機器
- 主題
- MetricName
資源記錄
本節列出您可以針對此服務收集的資源記錄類型。 該區段會從 Azure 監視器中支援的所有資源記錄類別類型清單提取。
HDInsight 不會使用 Azure 監視器資源記錄或診斷設定。 記錄是由其他方法收集，包括使用Log Analytics代理程式。
Azure 監視器記錄資料表
本節列出與此服務相關的 Azure 監視器記錄資料表，並且該資料表可供 Log Analytics 使用 Kusto 查詢進行查詢。 資料表包含資源記錄資料，而且可能包含更多資料，具體取決於所收集及路由傳送至此的內容。
HDInsight 叢集
Microsoft.HDInsight/Clusters
可用的記錄和計量會根據您的 HDInsight 叢集類型而有所不同。
- HDInsightAmbariClusterAlerts
- HDInsightAmbariSystemMetrics
- HDInsightGatewayAuditLogs
- HDInsightHBaseLogs
- HDInsightHBaseMetrics
- HDInsightHadoopAndYarnLogs
- HDInsightHadoopAndYarnMetrics
- HDInsightHiveAndLLAPLogs
- HDInsightHiveAndLLAPMetrics
- HDInsightHiveQueryAppStats
- HDInsightHiveTezAppStats
- HDInsightJupyterNotebookEvents
- HDInsightKafkaLogs
- HDInsightKafkaMetrics
- HDInsightKafkaServerLog
- HDInsightOozieLogs
- HDInsightRangerAuditLogs
- HDInsightSecurityLogs
- HDInsightSparkApplicationEvents
- HDInsightSparkBlockManagerEvents
- HDInsightSparkEnvironmentEvents
- HDInsightSparkExecutorEvents
- HDInsightSparkExtraEvents
- HDInsightSparkJobEvents
- HDInsightSparkLogs
- HDInsightSparkSQLExecutionEvents
- HDInsightSparkStageEvents
- HDInsightSparkStageTaskAccumulables
- HDInsightSparkTaskEvents
- HDInsightStormLogs
- HDInsightStormMetrics
- HDInsightStormTopologyMetrics
記錄數據表對應
新的 Azure 監視器整合會在 Log Analytics 工作區中實作新資料表。 下表顯示從傳統 Azure 監視器整合到新記錄數據表的對應。
[新增資料表] 資料行會顯示新數據表的名稱。 [描述] 資料列描述此數據表中可用的記錄/計量類型。 [傳統數據表] 數據行是傳統 Azure 監視器整合中所有數據表的清單，其數據現在會出現在新數據表中。
注意
有些數據表是全新的數據表，而不是以先前的數據表為基礎。
一般工作負載資料表
| 新增資料表 | 描述 | 傳統數據表 |
|---|---|---|
| HDInsightAmbariSystemMetrics | 從Ambari收集的系統計量。 計量現在來自叢集中的每個節點 (但邊緣節點除外)，而不只是兩個前端節點。 每個計量現在都是一個資料行，而每個記錄都會報告一次每個計量。 | metrics_cpu_nice_cl、metrics_cpu_system_cl、metrics_cpu_user_cl、metrics_memory_cache_CL、metrics_memory_swap_CL、metrics_memory_total_CLmetrics_memory_buffer_CL、metrics_load_1min_CL、metrics_load_cpu_CL、metrics_load_nodes_CL、metrics_load_procs_CL、metrics_network_in_CL、metrics_network_out_CL |
| HDInsightAmbariClusterAlerts | 來自叢集中每個節點的Ambari叢集警示（邊緣節點除外）。 每個警示都是此資料表中的記錄。 | metrics_cluster_alerts_CL |
| HDInsightSecurityLogs | 來自Ambari稽核和驗證記錄的記錄。 | log_ambari_audit_CL，log_auth_CL |
| HDInsightRangerAuditLogs | ESP 叢集 Ranger 稽核記錄檔中的所有記錄。 | ranger_audit_logs_CL |
| HDInsightGatewayAuditLogs_CL | 網關節點會稽核資訊。 與傳統數據表的格式相同，但仍位於 [自定義記錄] 區段中。 | log_gateway_Audit_CL |
Spark 工作負載
注意
Spark 應用程式相關資料表已取代為 11 個新的 Spark 資料表，可讓您更深入地瞭解 Spark 工作負載。
| 新增資料表 | 描述 | 傳統數據表 |
|---|---|---|
| HDInsightSparkLogs | 與 Spark 及其相關元件相關的所有記錄：Livy 和 Jupyter。 | log_livy_CL、log_jupyter_CL、log_spark_CL、log_sparkappsexecutors_CL、log_sparkappsdrivers_CL |
| HDInsightSparkApplicationEvents | Spark 應用程式的事件資訊，包括提交和完成時間、應用程式識別碼和 AppName。 適合用來追蹤應用程式何時啟動和完成。 | |
| HDInsightSparkBlockManagerEvents | 與Spark區塊管理員相關的事件資訊。 包含執行程式記憶體使用量等資訊。 | |
| HDInsightSparkEnvironmentEvents | 與應用程式執行環境相關的事件資訊，包括 Spark 部署模式、Master，以及執行程式的相關信息。 | |
| HDInsightSparkExecutorEvents | 應用程式針對 Spark 執行程式使用方式的事件資訊。 | |
| HDInsightSparkExtraEvents | 不符合任何其他Spark數據表的事件資訊。 | |
| HDInsightSparkJobEvents | Spark 作業的相關信息，包括其開始和結束時間、結果和相關聯的階段。 | |
| HDInsightSparkSqlExecutionEvents | Spark SQL 查詢的事件資訊，包括其計劃資訊和描述，以及開始和結束時間。 | |
| HDInsightSparkStageEvents | Spark 階段的事件資訊，包括其開始和完成時間、失敗狀態，以及詳細的執行資訊。 | |
| HDInsightSparkStageTaskAccumulables | 階段和工作的效能計量。 | |
| HDInsightTaskEvents | Spark 工作的事件資訊，包括開始和完成時間、相關聯的階段、執行狀態和工作類型。 | |
| HDInsightJupyterNotebookEvents | Jupyter Notebook 的事件資訊。 |
Hadoop/YARN 工作負載
| 新增資料表 | 描述 | 傳統數據表 |
|---|---|---|
| HDInsightHadoopAndYarnMetrics | Hadoop 和 YARN 架構的 JMX 計量。 包含與先前自定義記錄數據表相同的 JMX 計量，以及更重要的計量：時間軸伺服器、節點管理員和作業歷程記錄伺服器。 每個記錄包含一個計量。 | metrics_resourcemanager_clustermetrics_CL、metrics_resourcemanager_jvm_CL、metrics_resourcemanager_queue_root_CL、metrics_resourcemanager_queue_root_joblauncher_CL、metrics_resourcemanager_queue_root_default_CL、metrics_resourcemanager_queue_root_thriftsvr_CL |
| HDInsightHadoopAndYarnLogs | 從 Hadoop 和 YARN 架構產生的所有記錄。 | log_mrjobsummary_CL、log_resourcemanager_CL、log_timelineserver_CL、log_nodemanager_CL |
Hive/LLAP 工作負載
| 新增資料表 | 描述 | 傳統數據表 |
|---|---|---|
| HDInsightHiveAndLLAPMetrics | 來自Hive和 LLAP 架構的 JMX 計量。 包含與先前自定義記錄數據表相同的所有 JMX 計量，每個記錄各一個計量。 | llap_metrics_hiveserver2_CL、llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL、llap_metrics_llap_daemon_info_CL、llap_metrics_buddy_allocator_info_CL、llap_metrics_deamon_jvm_CL、llap_metrics_io_CL、llap_metrics_executor_metrics_CL、llap_metrics_metricssystem_stats_CL、llap_metrics_cache_CL |
| HDInsightHiveAndLLAPLogs | 從 Hive、LLAP 及其相關元件產生的記錄：WebHCat 和 Zeppelin。 | log_hivemetastore_CL log_hiveserver2_CL、log_hiveserve2interactive_CL、log_webhcat_CL、log_zeppelin_zeppelin_CL |
Kafka 工作負載
| 新增資料表 | 描述 | 傳統數據表 |
|---|---|---|
| HDInsightKafkaMetrics | Kafka 的 JMX 計量。 包含與舊自定義記錄數據表相同的所有 JMX 計量，以及其他重要的計量。 每個記錄一個計量。 | metrics_kafka_CL |
| HDInsightKafkaLogs | 從 Kafka Brokers 產生的所有記錄。 | log_kafkaserver_CL、log_kafkacontroller_CL |
HBase 工作負載
| 新增資料表 | 描述 | 傳統數據表 |
|---|---|---|
| HDInsightHBaseMetrics | 來自 HBase 的 JMX 計量。 包含先前數據表中的所有相同 JMX 計量。 與上一個數據表相反，每個數據列都包含一個計量。 | metrics_regionserver_CL、metrics_regionserver_wal_CL、metrics_regionserver_ipc_CL、metrics_regionserver_os_CL、metrics_regionserver_replication_CL、metrics_restserver_CL、metrics_restserver_jvm_CL、metrics_hmaster_assignmentmanager_CL、metrics_hmaster_ipc_CL、metrics_hmaser_os_CL、metrics_hmaster_balancer_CL、metrics_hmaster_jvm_CL、metrics_hmaster_CL、metrics_hmaster_fs_CL |
| HDInsightHBaseLogs | 來自 HBase 及其相關元件的記錄：Phoenix 和 HDFS。 | log_regionserver_CL、log_restserver_CL、log_phoenixserver_CL、log_hmaster_CL、log_hdfsnamenode_CL、log_garbage_collector_CL |
Oozie 工作負載
| 新增資料表 | 描述 | 傳統數據表 |
|---|---|---|
| HDInsightOozieLogs | 所有從 Oozie 架構產生的記錄。 | Log_oozie_CL |
活動記錄檔
連結的資料表會列出此服務活動記錄檔中可記錄的操作。 這些操作是活動記錄中的所有可能資源提供者操作的子集。
如需活動記錄項目結構描述的詳細資訊，請參閱活動記錄結構描述。
相關內容
- 如需監視 HDInsight 的描述，請參閱 監視 HDInsight 。
- 如需監視 Azure 資源的詳細資訊，請參閱使用 Azure 監視器來監視 Azure 資源。