Compartir a través de

Referencia de datos de supervisión de Azure HDInsight

  • Artículo

Este artículo contiene toda la información de referencia de supervisión de este servicio.

Consulte Supervisión de HDInsight para más información sobre los datos que puede recopilar para Azure HDInsight y cómo usarlo.

Métricas

En esta sección se indican todas las métricas de la plataforma recopiladas automáticamente para este servicio. Estas métricas también forman parte de la lista global de todas las métricas de plataforma admitidas en Azure Monitor.

Para obtener información sobre la retención de métricas, consulte Información general sobre las métricas de Azure Monitor.

Métricas admitidas para Microsoft.HDInsight/clusters

En la tabla siguiente se enumeran las métricas disponibles para el tipo de recurso Microsoft.HDInsight/clusters.

  • Es posible que todas las columnas no estén presentes en todas las tablas.
  • Es posible que algunas columnas estén fuera del área de visualización de la página. Seleccione Expandir tabla para ver todas las columnas disponibles.

Encabezados de tabla

  • Categoría: el grupo de métricas o la clasificación.
  • Métrica: el nombre para mostrar de la métrica tal como aparece en Azure Portal.
  • Nombre en la API REST: el nombre de la métrica por el que se conoce en la API REST.
  • Unidad: unidad de medida.
  • Agregación: el tipo de agregación predeterminado. Valores válidos: promedio (Avg), mínimo (Min), máximo (Max), total (Sum), recuento.
  • Dimensiones - : dimensiones disponibles para la métrica.
  • Intervalos de agregación - : intervalos en los que se obtiene una muestra de la métrica. Por ejemplo, PT1M indica que la métrica se muestrea cada minuto, PT30M cada 30 minutos, PT1H cada hora, etc.
  • Exportación de DS: indica si la métrica se puede exportar a los registros de Azure Monitor a través de la configuración de diagnóstico. Para obtener más información sobre la exportación de métricas, consulte Crear configuración de diagnóstico en Azure Monitor.
Category Métrica Nombre en la API de REST Unidad Agregación Dimensiones Intervalos de agregación Exportación de DS
Disponibilidad Solicitudes de puerta de enlace clasificadas

Número de solicitudes de puerta de enlace por categorías (1xx/2xx/3xx/4xx/5xx)		 CategorizedGatewayRequests Count Recuento, total (suma) HttpStatus PT1M, PT1H, P1D Sí
Disponibilidad Solicitudes de puerta de enlace

Número de solicitudes de puerta de enlace		 GatewayRequests Count Recuento, total (suma) HttpStatus PT1M, PT1H, P1D Sí
Disponibilidad Solicitud de consumidor de proxy RESTThroughput

Número de solicitudes de consumidor al proxy de REST de Kafka		 KafkaRestProxy.ConsumerRequest.m1_delta CountPerSecond Total (Suma) Machine, Topic PT1M, PT1H, P1D Sí
Disponibilidad Solicitudes incorrectas del consumidor de proxy REST

Excepciones de solicitud de consumidor		 KafkaRestProxy.ConsumerRequestFail.m1_delta CountPerSecond Total (Suma) Machine, Topic PT1M, PT1H, P1D Sí
Disponibilidad Solicitud de consumidor de proxy RESTLatency

Latencia de mensajes en una solicitud de consumidor a través del proxy de REST de Kafka		 KafkaRestProxy.ConsumerRequestTime.p95 Milisegundos Average Machine, Topic PT1M, PT1H, P1D Sí
Disponibilidad Trabajo pendiente de solicitud de consumidor de proxy REST

Longitud de cola de proxy de REST de consumidor		 KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 Milisegundos Average Machine, Topic PT1M, PT1H, P1D Sí
Disponibilidad Mensaje del productor de proxy RESTThroughput

Número de mensajes del productor a través del proxy de REST de Kafka		 KafkaRestProxy.MessagesIn.m1_delta CountPerSecond Total (Suma) Machine, Topic PT1M, PT1H, P1D Sí
Disponibilidad Mensaje de consumidor de proxy REST

Número de mensajes del consumidor a través del proxy de REST de Kafka		 KafkaRestProxy.MessagesOut.m1_delta CountPerSecond Total (Suma) Machine, Topic PT1M, PT1H, P1D Sí
Disponibilidad REST proxy ConcurrentConnections

Número de conexiones simultáneas a través del proxy de REST de Kafka		 KafkaRestProxy.OpenConnections Count Total (Suma) Machine, Topic PT1M, PT1H, P1D Sí
Disponibilidad Solicitud del productor de proxy RESTThroughput

Número de solicitudes del productor al proxy de REST de Kafka		 KafkaRestProxy.ProducerRequest.m1_delta CountPerSecond Total (Suma) Machine, Topic PT1M, PT1H, P1D Sí
Disponibilidad Solicitudes incorrectas del productor de proxy REST

Excepciones de solicitud de productor		 KafkaRestProxy.ProducerRequestFail.m1_delta CountPerSecond Total (Suma) Machine, Topic PT1M, PT1H, P1D Sí
Disponibilidad Solicitud del productor de proxy RESTLatency

Latencia de mensajes en una solicitud de productor a través del proxy de REST de Kafka		 KafkaRestProxy.ProducerRequestTime.p95 Milisegundos Average Machine, Topic PT1M, PT1H, P1D Sí
Disponibilidad Trabajo pendiente de solicitud de productor de proxy REST

Longitud de cola del proxy de REST del consumidor		 KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 Milisegundos Average Machine, Topic PT1M, PT1H, P1D Sí
Disponibilidad Número de trabajadores activos

Número de trabajos activos		 NumActiveWorkers Count Promedio, Máximo, Mínimo MetricName PT1M, PT1H, P1D Sí
Disponibilidad CPU pendiente

Solicitudes de CPU pendientes en YARN		 PendingCPU Count Promedio, Máximo, Mínimo <none> PT1M, PT1H, P1D Sí
Disponibilidad Memoria pendiente

Solicitudes de memoria pendientes en YARN		 PendingMemory Count Promedio, Máximo, Mínimo <none> PT1M, PT1H, P1D Sí

Dimensiones de métricas

Para obtener más información sobre las dimensiones de métricas, consulte Métricas multidimensionales.

Este servicio tiene las siguientes dimensiones asociadas a sus métricas.

Las dimensiones de la tabla Microsoft.HDInsight/clusters incluyen:

  • HttpStatus
  • Máquina
  • Tema
  • MetricName

Registros del recurso

En esta sección se enumeran los tipos de registros de recursos que se pueden recopilar para este servicio. La sección extrae de la lista de todos los tipos de categorías de registros admitidos en Azure Monitor.

HDInsight no usa los registros de recursos ni la configuración de diagnóstico de Azure Monitor. Los registros se recopilan mediante otros métodos, incluido el uso del agente de Log Analytics.

Tablas de registros de Azure Monitor

En esta sección, se enumeran todas las tablas de registros de Azure Monitor relacionadas con este servicio y que están disponibles para consulta mediante Log Analytics con consultas de Kusto. Las tablas contienen datos de registro de recursos y, posiblemente, más dependiendo de lo que se recopila y se enrutan a ellos.

Clústeres de HDInsight

Microsoft.HDInsight/Clusters

Los registros y métricas disponibles varían en función del tipo de clúster de HDInsight.

Asignación de tablas de registro

La nueva integración de Azure Monitor implementa nuevas tablas en el área de trabajo de Log Analytics. En las tablas siguientes se muestran las asignaciones de tablas de registro de la integración clásica de Azure Monitor con la nueva.

La columna Nueva tabla muestra el nombre de la nueva tabla. La fila Descripción describe el tipo de registros o métricas que están disponibles en esta tabla. La columna Tabla clásica es una lista de todas las tablas de la integración clásica de Azure Monitor cuyos datos ahora están presentes en la nueva tabla.

Nota:

Algunas tablas son completamente nuevas y no basadas en tablas anteriores.

Tablas de cargas de trabajo generales

Nueva tabla Descripción Tabla clásica
HDInsightAmbariSystemMetrics Métricas del sistema recopiladas de Ambari. Las métricas proceden ahora de cada nodo del clúster (excepto los nodos perimetrales), en lugar de solo los dos nodos principales. Cada métrica es ahora una columna, y cada métrica se notifica una vez por registro. metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL, metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL, metrics_network_out_CL
HDInsightAmbariClusterAlerts Alertas de clúster de Ambari de cada nodo del clúster (excepto los nodos perimetrales). Cada alerta es un registro en esta tabla. metrics_cluster_alerts_CL
HDInsightSecurityLogs Registros de los registros de auditoría y autenticación de Ambari. log_ambari_audit_CL, log_auth_CL
HDInsightRangerAuditLogs Todos los registros del registro de auditoría de Ranger para clústeres esp. ranger_audit_logs_CL
HDInsightGatewayAuditLogs_CL La información de auditoría de los nodos de puerta de enlace. El mismo formato que la tabla clásica y todavía se encuentra en la sección Registros personalizados. log_gateway_Audit_CL

Carga de trabajo de Spark

Nota:

Las tablas relacionadas con la aplicación Spark se han reemplazado por 11 nuevas tablas de Spark que proporcionan información más detallada sobre las cargas de trabajo de Spark.

Nueva tabla Descripción Tabla clásica
HDInsightSparkLogs Todos los registros relacionados con Spark y su componente relacionado: Livy y Jupyter. log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL, log_sparkappsdrivers_CL
HDInsightSparkApplicationEvents Información de eventos para aplicaciones spark, incluidos el tiempo de envío y finalización, el identificador de la aplicación y AppName. Resulta útil para realizar un seguimiento de cuándo se iniciaron y completaron las aplicaciones.
HDInsightSparkBlockManagerEvents Información de eventos relacionada con el Administrador de bloques de Spark. Incluye información como el uso de memoria del ejecutor.
HDInsightSparkEnvironmentEvents Información de eventos relacionada con el entorno en el que se ejecuta una aplicación, incluido el modo de implementación de Spark, el patrón e información sobre el ejecutor.
HDInsightSparkExecutorEvents Información de eventos sobre el uso del ejecutor de Spark para una aplicación.
HDInsightSparkExtraEvents Información de eventos que no cabe en ninguna otra tabla de Spark.
HDInsightSparkJobEvents Información sobre los trabajos de Spark, incluidas las horas de inicio y finalización, el resultado y las fases asociadas.
HDInsightSparkSqlExecutionEvents Información de eventos en consultas de Spark SQL, incluida su información del plan y su descripción, y las horas de inicio y finalización.
HDInsightSparkStageEvents Información de eventos para las fases de Spark, incluidos sus tiempos de inicio y finalización, estado de error e información detallada de ejecución.
HDInsightSparkStageTaskAccumulables Métricas de rendimiento para fases y tareas.
HDInsightTaskEvents Información de eventos para tareas de Spark, incluido el tiempo de inicio y finalización, las fases asociadas, el estado de ejecución y el tipo de tarea.
HDInsightJupyterNotebookEvents Información de eventos para Cuadernos de Jupyter Notebook.

Carga de trabajo de Hadoop/YARN

Nueva tabla Descripción Tabla clásica
HDInsightHadoopAndYarnMetrics Métricas de JMX de los marcos de Hadoop y YARN. Contiene todas las mismas métricas de JMX que las tablas de registros personalizados anteriores, además de métricas más importantes: Servidor de escala de tiempo, Administrador de nodos y Servidor de historial de trabajos. Contiene una métrica por registro. metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL, metrics_resourcemanager_queue_root_thriftsvr_CL
HDInsightHadoopAndYarnLogs Todos los registros generados a partir de los marcos de Hadoop y YARN. log_mrjobsummary_CL, log_resourcemanager_CL, log_timelineserver_CL, log_nodemanager_CL

Carga de trabajo de Hive/LLAP

Nueva tabla Descripción Tabla clásica
HDInsightHiveAndLLAPMetrics Métricas de JMX de los marcos de Hive y LLAP. Contiene todas las mismas métricas de JMX que las tablas de registros personalizados anteriores, una métrica por registro. llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL, llap_metrics_cache_CL
HDInsightHiveAndLLAPLogs Registros generados a partir de Hive, LLAP y sus componentes relacionados: WebHCat y Zeppelin. log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL, log_zeppelin_zeppelin_CL

Carga de trabajo de Kafka

Nueva tabla Descripción Tabla clásica
HDInsightKafkaMetrics Métricas de JMX de Kafka. Contiene todas las mismas métricas de JMX que las tablas de registros personalizados antiguas, además de otras métricas importantes. Una métrica por registro. metrics_kafka_CL
HDInsightKafkaLogs Todos los registros generados a partir de los agentes de Kafka. log_kafkaserver_CL, log_kafkacontroller_CL

Carga de trabajo de HBase

Nueva tabla Descripción Tabla clásica
HDInsightHBaseMetrics Métricas de JMX de HBase. Contiene todas las mismas métricas de JMX de las tablas anteriores. A diferencia de las tablas anteriores, cada fila contiene una métrica. metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_replication_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL metrics_hmaster_fs_CL
HDInsightHBaseLogs Registros de HBase y sus componentes relacionados: Phoenix y HDFS. log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL, log_garbage_collector_CL

Carga de trabajo de Oozie

Nueva tabla Descripción Tabla clásica
HDInsightOozieLogs Todos los registros generados desde el marco de Oozie. Log_oozie_CL

Registro de actividad

En la tabla vinculada se enumeran las operaciones que se pueden registrar en el registro de actividad de este servicio. Estas operaciones son un subconjunto de todas las posibles operaciones del proveedor de recursos en el registro de actividad.

Para obtener más información sobre el esquema de las entradas del registro de actividad, consulte Esquema del registro de actividad.

Contenido relacionado