Azure HDInsight 監視データ リファレンス
この記事には、このサービスに関するすべての監視リファレンス情報が含まれています。
Azure HDInsight 用に収集できるデータとその使用方法の詳細については Monitor HDInsight を参照してください。
メトリック
このセクションには、このサービスに関して自動的に収集されるすべてのプラットフォーム メトリックが一覧表示されています。 これらのメトリックは、Azure Monitor でサポートされているすべてのプラットフォーム メトリックのグローバル リストにも含まれています。
メトリックのリテンション期間の詳細については、「Azure Monitor メトリックの概要」を参照してください。
Microsoft.HDInsight/clusters でサポートされているメトリック
次の表に、Microsoft.HDInsight/clusters リソースの種類で使用できるメトリックを示します。
- すべての列がすべてのテーブルに存在しないことがあります。
- 一部の列がページの表示領域を超えている場合があります。 [テーブルの展開] を選択すると、使用可能なすべての列が表示されます。
テーブルの見出し
- カテゴリ - メトリック グループまたは分類。
- メトリック - Azure Portal に表示されるメトリックの表示名。
- REST API の名前 - REST API で参照されるメトリック名。
- 単位 - 測定単位。
- 集計 - 既定の集計の種類。 有効な値: 平均 (Avg)、最小 (Min)、最大 (Max)、合計 (Sum)、数。
- ディメンション - メトリックで使用できるディメンション。
- 時間グレイン - メトリックをサンプリングする間隔。 たとえば、
PT1Mは、メトリックを 1 分ごとに、PT30Mは 30 分ごとに、PT1Hは 1 時間ごとにサンプリングすることを示します。 - DS エクスポート - メトリックが診断設定を介して Azure Monitor ログにエクスポート可能かどうかを示します。 メトリックのエクスポートについては、「Azure Monitor で診断設定を作成する」を参照してください。
カテゴリ: 可用性
| メトリック | REST API での名前 | 出荷単位 | 集計 | Dimensions | 期間粒度 | DS エクスポート |
|---|---|---|---|---|---|---|
| 分類されたゲートウェイ要求 カテゴリ別のゲートウェイ要求の数 (1xx/2xx/3xx/4xx/5xx) |
CategorizedGatewayRequests |
カウント | Count、Total (Sum) | HttpStatus |
PT1M、PT1H、P1D | はい |
| ゲートウェイ要求 ゲートウェイ要求の数 |
GatewayRequests |
カウント | Count、Total (Sum) | HttpStatus |
PT1M、PT1H、P1D | はい |
| REST プロキシ のコンシューマー要求Throughput Kafka REST プロキシに対するコンシューマー要求の数 |
KafkaRestProxy.ConsumerRequest.m1_delta |
CountPerSecond | 合計 (和) | Machine, Topic |
PT1M、PT1H、P1D | はい |
| REST プロキシ コンシューマーの失敗した要求 コンシューマー要求の例外 |
KafkaRestProxy.ConsumerRequestFail.m1_delta |
CountPerSecond | 合計 (和) | Machine, Topic |
PT1M、PT1H、P1D | はい |
| REST プロキシ コンシューマー RequestLatency Kafka REST プロキシ経由のコンシューマー要求でのメッセージ待機時間 |
KafkaRestProxy.ConsumerRequestTime.p95 |
ミリ秒 | Average | Machine, Topic |
PT1M、PT1H、P1D | はい |
| REST プロキシ コンシューマー要求バックログ コンシューマー REST プロキシ キューの長さ |
KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 |
ミリ秒 | Average | Machine, Topic |
PT1M、PT1H、P1D | はい |
| REST プロキシ プロデューサー MessageThroughput Kafka REST プロキシを介したプロデューサー メッセージの数 |
KafkaRestProxy.MessagesIn.m1_delta |
CountPerSecond | 合計 (和) | Machine, Topic |
PT1M、PT1H、P1D | はい |
| REST プロキシ コンシューマー MessageThroughput Kafka REST プロキシを介したコンシューマー メッセージの数 |
KafkaRestProxy.MessagesOut.m1_delta |
CountPerSecond | 合計 (和) | Machine, Topic |
PT1M、PT1H、P1D | はい |
| REST プロキシ ConcurrentConnections Kafka REST プロキシ経由の同時接続の数 |
KafkaRestProxy.OpenConnections |
カウント | 合計 (和) | Machine, Topic |
PT1M、PT1H、P1D | はい |
| REST プロキシ プロデューサーの RequestThroughput Kafka REST プロキシに対するプロデューサー要求の数 |
KafkaRestProxy.ProducerRequest.m1_delta |
CountPerSecond | 合計 (和) | Machine, Topic |
PT1M、PT1H、P1D | はい |
| REST プロキシ プロデューサーの失敗した要求 プロデューサー要求の例外 |
KafkaRestProxy.ProducerRequestFail.m1_delta |
CountPerSecond | 合計 (和) | Machine, Topic |
PT1M、PT1H、P1D | はい |
| REST プロキシ プロデューサー RequestLatency Kafka REST プロキシ経由のプロデューサー要求でのメッセージ待機時間 |
KafkaRestProxy.ProducerRequestTime.p95 |
ミリ秒 | Average | Machine, Topic |
PT1M、PT1H、P1D | はい |
| REST プロキシ プロデューサー要求バックログ プロデューサー REST プロキシ キューの長さ |
KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 |
ミリ秒 | Average | Machine, Topic |
PT1M、PT1H、P1D | はい |
| アクティブなワーカーの数 アクティブなワーカーの数 |
NumActiveWorkers |
カウント | 「平均」「最大」「最小」 | MetricName |
PT1M、PT1H、P1D | はい |
| 保留中の CPU YARN での保留中の CPU 要求 |
PendingCPU |
カウント | 「平均」「最大」「最小」 | <なし> | PT1M、PT1H、P1D | はい |
| 保留中のメモリ YARN での保留中のメモリ要求 |
PendingMemory |
カウント | 「平均」「最大」「最小」 | <なし> | PT1M、PT1H、P1D | はい |
メトリック ディメンション
メトリック ディメンションについては、「多次元メトリック」を参照してください。
このサービスでは、次のディメンションがそのメトリックに関連付けられています。
Microsoft.HDInsight/clusters テーブルのディメンションは次のとおりです。
- HttpStatus
- マシン
- トピック
- MetricName
リソース ログ
このセクションでは、このサービス用に収集できるリソース ログの種類を一覧表示します。 このセクションでは、Azure Monitor でサポートされているすべてのリソース ログ カテゴリの種類のリストからプルされます。
HDInsight では、Azure Monitor リソース ログや診断設定は使用されません。 ログは、Log Analytics エージェントの使用など、他の方法によって収集されます。
Azure Monitor ログ テーブル
このセクションでは、Kusto クエリを使用した Log Analytics によるクエリに使用できる、このサービスに関連するすべての Azure Monitor ログ テーブルを一覧表示します。 テーブルにはリソース ログ データが含まれており、収集されルーティングされる内容によっては、さらに多くのデータが含まれる場合があります。
HDInsight クラスター
Microsoft.HDInsight/Clusters
使用可能なログとメトリックは、HDInsight クラスターの種類によって異なります。
- HDInsightAmbariClusterAlerts
- HDInsightAmbariSystemMetrics
- HDInsightGatewayAuditLogs
- HDInsightHBaseLogs
- HDInsightHBaseMetrics
- HDInsightHadoopAndYarnLogs
- HDInsightHadoopAndYarnMetrics
- HDInsightHiveAndLLAPLogs
- HDInsightHiveAndLLAPMetrics
- HDInsightHiveQueryAppStats
- HDInsightHiveTezAppStats
- HDInsightJupyterNotebookEvents
- HDInsightKafkaLogs
- HDInsightKafkaMetrics
- HDInsightKafkaServerLog
- HDInsightOozieLogs
- HDInsightRangerAuditLogs
- HDInsightSecurityLogs
- HDInsightSparkApplicationEvents
- HDInsightSparkBlockManagerEvents
- HDInsightSparkEnvironmentEvents
- HDInsightSparkExecutorEvents
- HDInsightSparkExtraEvents
- HDInsightSparkJobEvents
- HDInsightSparkLogs
- HDInsightSparkSQLExecutionEvents
- HDInsightSparkStageEvents
- HDInsightSparkStageTaskAccumulables
- HDInsightSparkTaskEvents
- HDInsightStormLogs
- HDInsightStormMetrics
- HDInsightStormTopologyMetrics
ログ テーブルのマッピング
新しい Azure Monitor 統合では、Log Analytics ワークスペースに新しいテーブルが実装されます。 次の表は、クラシック Azure Monitor 統合から新しい統合へのログ テーブルマッピングを示しています。
New テーブル列には、新しいテーブルの名前が表示されます。 Description 行には、この表で使用できるログ/メトリックの種類が記述されています。 Classic テーブル列は、新しいテーブルにデータが存在するクラシック Azure Monitor 統合のすべてのテーブルの一覧です。
Note
一部のテーブルは完全に新しく、以前のテーブルに基づいていません。
一般的なワークロード テーブル
| 新しいテーブル | 説明 | クラシック テーブル |
|---|---|---|
| HDInsightAmbariSystemMetrics | Ambari から収集されたシステム メトリック。 これらのメトリックは、2 つのヘッドノードだけではなく、クラスター内の各ノード (エッジ ノードを除く) から取得されるようになりました。 各メトリックは列になり、各メトリックはレコードごとに 1 回報告されます。 | metrics_cpu_nice_cl、metrics_cpu_system_cl、metrics_cpu_user_cl、metrics_memory_cache_CL、metrics_memory_swap_CL、metrics_memory_total_CLmetrics_memory_buffer_CL、metrics_load_1min_CL、metrics_load_cpu_CL、metrics_load_nodes_CL、metrics_load_procs_CL、metrics_network_in_CL、metrics_network_out_CL |
| HDInsightAmbariClusterAlerts | クラスター内の各ノードからの Ambari クラスター アラート (エッジ ノードを除く)。 各アラートは、このテーブル内のレコードです。 | metrics_cluster_alerts_CL |
| HDInsightSecurityLogs | Ambari 監査ログと認証ログのレコード。 | log_ambari_audit_CL、log_auth_CL |
| HDInsightRangerAuditLogs | ESP クラスターの Ranger 監査ログのすべてのレコード。 | ranger_audit_logs_CL |
| HDInsightGatewayAuditLogs_CL | ゲートウェイ ノードは情報を監査します。 クラシック テーブルと同じ形式で、[カスタム ログ] セクションに残ります。 | log_gateway_Audit_CL |
Spark ワークロード
Note
Spark アプリケーション関連のテーブルは、Spark ワークロードに関する詳細な情報を提供する 11 個の新しい Spark テーブルに置き換えられました。
| 新しいテーブル | 説明 | クラシック テーブル |
|---|---|---|
| HDInsightSparkLogs | Spark とその関連コンポーネント (Livy と Jupyter) に関連するすべてのログ。 | log_livy_CL、log_jupyter_CL、log_spark_CL、log_sparkappsexecutors_CL、log_sparkappsdrivers_CL |
| HDInsightSparkApplicationEvents | 送信と完了時刻、アプリ ID、AppName など、Spark アプリケーションのイベント情報。 アプリケーションの開始と完了を追跡するのに役立ちます。 | |
| HDInsightSparkBlockManagerEvents | Spark のブロック マネージャーに関連するイベント情報。 Executor のメモリ使用量などの情報が含まれます。 | |
| HDInsightSparkEnvironmentEvents | アプリケーションが実行する環境に関連するイベント情報 (Spark デプロイ モード、マスター、Executor に関する情報など)。 | |
| HDInsightSparkExecutorEvents | アプリケーションによる Spark Executor の使用状況に関するイベント情報。 | |
| HDInsightSparkExtraEvents | 他の Spark テーブルに収まらないイベント情報。 | |
| HDInsightSparkJobEvents | 開始時刻と終了時刻、結果、関連するステージを含む Spark ジョブに関する情報。 | |
| HDInsightSparkSqlExecutionEvents | Spark SQL クエリに関するイベント情報 (プラン情報、説明、開始時刻と終了時刻など)。 | |
| HDInsightSparkStageEvents | Spark ステージのイベント情報 (開始時刻と完了時刻、失敗の状態、詳細な実行情報など)。 | |
| HDInsightSparkStageTaskAccumulables | ステージとタスクのパフォーマンス メトリック。 | |
| HDInsightTaskEvents | 開始時刻と完了時刻、関連するステージ、実行状態、タスクの種類など、Spark タスクのイベント情報。 | |
| HDInsightJupyterNotebookEvents | Jupyter Notebook のイベント情報。 |
Hadoop または YARN ワークロード
| 新しいテーブル | 説明 | クラシック テーブル |
|---|---|---|
| HDInsightHadoopAndYarnMetrics | Hadoop および YARN フレームワークからの JMX メトリック。 前のカスタム ログ テーブルと同じ JMX メトリックと、さらに重要なメトリック (タイムライン サーバー、ノード マネージャー、ジョブ履歴サーバー) がすべて含まれています。 レコードごとに 1 つのメトリックが含まれています。 | metrics_resourcemanager_clustermetrics_CL、metrics_resourcemanager_jvm_CL、metrics_resourcemanager_queue_root_CL、metrics_resourcemanager_queue_root_joblauncher_CL、metrics_resourcemanager_queue_root_default_CL、metrics_resourcemanager_queue_root_thriftsvr_CL |
| HDInsightHadoopAndYarnLogs | Hadoop および YARN フレームワークから生成されたすべてのログ。 | log_mrjobsummary_CL、log_resourcemanager_CL、log_timelineserver_CL、log_nodemanager_CL |
Hive または LLAP ワークロード
| 新しいテーブル | 説明 | クラシック テーブル |
|---|---|---|
| HDInsightHiveAndLLAPMetrics | Hive および LLAP フレームワークからの JMX メトリック。 前のカスタム ログ テーブルと同じ JMX メトリックがすべて含まれています。レコードごとに 1 つのメトリックです。 | llap_metrics_hiveserver2_CL、llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL、llap_metrics_llap_daemon_info_CL、llap_metrics_buddy_allocator_info_CL、llap_metrics_deamon_jvm_CL、llap_metrics_io_CL、llap_metrics_executor_metrics_CL、llap_metrics_metricssystem_stats_CL、llap_metrics_cache_CL |
| HDInsightHiveAndLLAPLogs | Hive、LLAP、およびその関連コンポーネント (WebHCat と Zeppelin) から生成されたログ。 | log_hivemetastore_CL log_hiveserver2_CL、log_hiveserve2interactive_CL、log_webhcat_CL、log_zeppelin_zeppelin_CL |
Kafka ワークロード
| 新しいテーブル | 説明 | クラシック テーブル |
|---|---|---|
| HDInsightKafkaMetrics | Kafka からの JMX メトリック。 古いカスタム ログ テーブルと同じ JMX メトリックと、その他の重要なメトリックがすべて含まれます。 レコードごとに 1 つのメトリック。 | metrics_kafka_CL |
| HDInsightKafkaLogs | Kafka ブローカーから生成されたすべてのログ。 | log_kafkaserver_CL、log_kafkacontroller_CL |
HBase ワークロード
| 新しいテーブル | 説明 | クラシック テーブル |
|---|---|---|
| HDInsightHBaseMetrics | HBase からの JMX メトリック。 前の表と同じ JMX メトリックがすべて含まれています。 前のテーブルとは対照的に、各行には 1 つのメトリックが含まれています。 | metrics_regionserver_CL、metrics_regionserver_wal_CL、metrics_regionserver_ipc_CL、metrics_regionserver_os_CL、metrics_regionserver_replication_CL、metrics_restserver_CL、metrics_restserver_jvm_CL、metrics_hmaster_assignmentmanager_CL、metrics_hmaster_ipc_CL、metrics_hmaser_os_CL、metrics_hmaster_balancer_CL、metrics_hmaster_jvm_CL、metrics_hmaster_CL、metrics_hmaster_fs_CL |
| HDInsightHBaseLogs | HBase とその関連コンポーネント (Phoenix と HDFS) からのログ。 | log_regionserver_CL、log_restserver_CL、log_phoenixserver_CL、log_hmaster_CL、log_hdfsnamenode_CL、log_garbage_collector_CL |
Oozie ワークロード
| 新しいテーブル | 説明 | クラシック テーブル |
|---|---|---|
| HDInsightOozieLogs | Oozie フレームワークから生成されたすべてのログ。 | Log_oozie_CL |
アクティビティ ログ
リンクされたテーブルには、このサービスのアクティビティ ログに記録できる操作が一覧表示されます。 これらの操作は、アクティビティ ログで使用可能なすべてのリソース プロバイダー操作のサブセットです。
アクティビティ ログ エントリのスキーマの詳細については、「アクティビティ ログのスキーマ」を参照してください。
関連するコンテンツ
- HDInsight の監視については、 Monitor HDInsight を参照してください。
- Azure リソースの監視の詳細については、「Azure Monitor で Azure リソースを監視する」を参照してください。