Supervisión de Azure HDInsight

En este artículo se describe:

• Los tipos de datos de supervisión que puede recopilar para este servicio.
• Formas de analizar esos datos.

Nota:

Si ya está familiarizado con este servicio o Azure Monitor y solo quiere saber cómo analizar los datos de supervisión, consulte la sección Analizar cerca del final de este artículo.

Cuando tenga aplicaciones críticas y procesos empresariales que dependan de los recursos de Azure, deberá supervisar y obtener alertas para el sistema. El servicio Azure Monitor recopila y agrega métricas y registros de todos los componentes del sistema. Azure Monitor proporciona una vista de la disponibilidad, el rendimiento y la resistencia, y le notifica los problemas. Puede usar Azure Portal, PowerShell, la CLI de Azure, la API de REST o las bibliotecas cliente para configurar y ver los datos de supervisión.

• Para más información sobre Azure Monitor, consulte la Información general de Azure Monitor.
• Para más información sobre cómo supervisar los recursos de Azure en general, consulte Supervisión de recursos de Azure con Azure Monitor.

Opciones de supervisión de HDInsight

Las métricas y registros específicos disponibles para el clúster de HDInsight dependen del tipo y las herramientas del clúster. Azure HDInsight ofrece tipos de clústeres de Apache Hadoop, Spark, Kafka, HBase e Interactive Query. Puede supervisar el clúster a través de la interfaz de usuario web de Apache Ambari o en Azure Portal habilitando la integración de Azure Monitor.

Supervisión de Apache Ambari

Apache Ambari simplifica la administración, la configuración y la supervisión de un clúster de HDInsight al proporcionar una API REST y una interfaz de usuario web. Ambari se incluye en los clústeres de HDInsight basados en Linux. Para utilizar Ambari, seleccione Inicio de Ambari en la página Información general de su clúster HDInsight en Azure Portal.

Para obtener información sobre cómo usar Ambari para la supervisión, consulte los siguientes artículos:

• Supervisión del rendimiento de un clúster en Azure HDInsight
• Supervisión de la disponibilidad del clúster con Apache Ambari en Azure HDInsight

Integración de Azure Monitor

También puede supervisar los clústeres de HDInsight directamente en Azure. Una nueva integración de Azure Monitor, ahora en versión preliminar, le permite acceder a Insights, Registros y Libros desde su clúster de HDInsight sin necesidad de invocar el área de trabajo de Log Analytics.

Para utilizar la nueva integración de Azure Monitor, habilítela seleccionando Integración de Monitor en la sección Supervisión del menú de la izquierda de su página de Azure Portal de HDInsight. También puede usar PowerShell o la CLI de Azure para habilitar e interactuar con la nueva integración de supervisión. Para obtener más información, consulte el artículo siguiente:

• Uso del agente de Azure Monitor para supervisar clústeres de HDInsight

Información detallada

Algunos servicios de Azure tienen un panel de supervisión integrado en Azure Portal que proporciona un punto de partida para supervisar el servicio. Estos paneles se denominan información, y puede encontrarlos en el Centro de información de Azure Monitor en Azure Portal.

Integración del portal del clúster de Insights

Después de habilitar la integración de Azure Monitor, puede seleccionar Insights (versión preliminar) en el menú izquierdo de la página de Azure Portal de HDInsight para ver un panel de visualización de métricas y registros rellenados automáticamente y listo para usar específico del tipo del clúster. El panel de información utiliza un Libro de Azure precompilado que tiene secciones para cada tipo de clúster, YARN, métricas del sistema y registros de componentes.

Estos gráficos y visualizaciones detallados brindan información detallada sobre el rendimiento y el estado del clúster. Para obtener más información, consulte Uso de información lista para usar de HDInsight para supervisar un único clúster.

Tipos de recursos

Azure usa el concepto de tipos de recursos e identificadores para identificar todo el contenido de una suscripción. Los tipos de recursos también forman parte de los identificadores de recursos para cada recurso que se ejecuta en Azure. Por ejemplo, un tipo de recurso para una máquina virtual es Microsoft.Compute/virtualMachines. Para obtener una lista de los servicios y sus tipos de recursos asociados, consulte Proveedores de recursos.

De forma similar, Azure Monitor organiza los datos principales de supervisión en métricas y registros en función de tipos de recursos, que también se denominan espacios de nombres. Hay diferentes métricas y registros disponibles para distintos tipos de recursos. Es posible que el servicio esté asociado a más de un tipo de recurso.

Para más información sobre los tipos de recursos para Azure HDInsight, consulte Referencia de datos de supervisión de HDInsight.

Almacenamiento de datos

Para Azure Monitor:

• Los datos de métricas se almacenan en la base de datos de métricas de Azure Monitor.
• Los datos de registro se almacenan en el almacén de registros de Azure Monitor. Log Analytics es una herramienta de Azure Portal que puede hacer consultas en este almacén.
• El registro de actividad de Azure es un almacén independiente con su propia interfaz en Azure Portal.

Opcionalmente, puede enrutar los datos del registro de actividad y las métricas al almacén de registros de Azure Monitor. A continuación, puede usar Log Analytics para consultar los datos y correlacionarlos con otros datos de registro.

Muchos servicios pueden usar la configuración de diagnóstico para enviar datos de métricas y de registro a otras ubicaciones de almacenamiento fuera de Azure Monitor. Algunos ejemplos son Azure Storage, sistemas de asociados hospedados y sistemas de asociados que no son de Azure mediante Event Hubs.

Para obtener información detallada sobre cómo Azure Monitor almacena datos, consulte Plataforma de datos de Azure Monitor.

HDInsight almacena los archivos de registro en el sistema de archivos del clúster y en Azure Storage. Debido al gran número y tamaño de los archivos de registro, es importante optimizar su almacenamiento y archivado para ayudar a administración los costos. Para más información, consulte Administrar los registros de clústeres de HDInsight.

Métricas de plataforma de Azure Monitor

Azure Monitor proporciona métricas de plataforma para la mayoría de los servicios. Estas son las métricas:

• Se define individualmente para cada espacio de nombres.
• Almacenado en la base de datos de métricas de serie temporal de Azure Monitor.
• Ligero y capaz de admitir alertas casi en tiempo real.
• Se usa para supervisar el rendimiento de un recurso a lo largo del tiempo.

Recopilación: Azure Monitor recopila automáticamente las métricas de la plataforma. No se requiere ninguna configuración.

Enrutamiento: también puede enrutar algunas métricas de la plataforma a registros de Azure Monitor o Log Analytics para poder consultarlas con otros datos de registro. Compruebe el valor Exportación de DS para ver si puede usar una configuración de diagnóstico a fin de enrutar la métrica a registros de Azure Monitor o Log Analytics.

• Para más información, consulta el valor Diagnóstico de métricas.
• A fin de configurar valores de diagnóstico para un servicio, vea Creación de valores de diagnóstico en Azure Monitor.

Para obtener una lista de todas las métricas que es posible recopilar para todos los recursos de Azure Monitor, consulte Métricas admitidas en Azure Monitor.

Para obtener una lista de las métricas recopiladas automáticamente para HDInsight, consulte Referencia de datos de supervisión de HDInsight.

Registros de recursos de Azure Monitor

Los registros de recursos proporcionan información sobre las operaciones realizadas por un recurso de Azure. Los registros se generan automáticamente, pero debe enrutarlos a los registros de Azure Monitor para guardarlos o consultarlos. Los registros se organizan en categorías. Un espacio de nombres determinado puede tener varias categorías de registro de recursos.

Recopilación: los registros de recursos no se recopilan ni almacenan hasta que se crea una configuración de diagnóstico y se enrutan los registros a una o varias ubicaciones. Cuando se crea una configuración de diagnóstico, se especifican las categorías de registros que se van a recopilar. Hay varias maneras de crear y mantener la configuración de diagnóstico, como Azure Portal, hacerlo mediante programación o usar Azure Policy.

Enrutamiento: el valor predeterminado sugerido es enrutar los registros de recursos a los registros de Azure Monitor para poder consultarlos con otros datos de registro. También están disponibles otras ubicaciones como Azure Storage, Azure Event Hubs y determinados asociados de supervisión de Microsoft. Para más información, consulte los Registros de recursos de Azure y los Destinos de registro de recursos.

Para obtener información detallada sobre cómo recopilar, almacenar y enrutar registros de recursos, consulte Configuración de diagnóstico en Azure Monitor.

Para obtener una lista de todas las categorías de registro de recursos disponibles en Azure Monitor, consulte Registros de recursos admitidos en Azure Monitor.

Todos los registros de recursos de Azure Monitor tienen los mismos campos de encabezado, seguidos de campos específicos del servicio. El esquema común se describe en Esquema de registros de recursos de Azure Monitor.

Registros recopilados por el agente

HDInsight no genera registros de recursos mediante el método habitual. En su lugar, recopila registros desde el clúster de HDInsight y los envía a tablas de registros de Azure Monitor/Log Analytics mediante el agente de Log Analytics .

Un clúster de HDInsight genera muchos archivos de registro, como:

• Registros de ejecución de trabajos
• Archivos de Resource Manager de registro de YARN
• Registros de acción de script
• Estado de alertas del clúster de Ambari
• Métricas de sistema de Ambari
• Registros de seguridad
• Actividad de Hadoop registrada en la controladora, stderr y archivos de registro de syslog

Los registros específicos disponibles dependen del marco de clúster y las herramientas. Una vez que habilite la integración de Azure Monitor para el clúster, puede ver cualquiera de estos registros y hacer consultas en ellos.

• Para obtener más información sobre los registros recopilados, consulte Administración de registros para un clúster de HDInsight.
• Para ver los esquemas de registros y tablas de Log Analytics y Azure Monitor disponibles para HDInsight, consulte Referencia de datos de supervisión de HDInsight.

Registro selectivo

Los clústeres de HDInsight pueden recopilar muchos registros detallados. Para ayudar a ahorrar en los costos de supervisión y almacenamiento, puede habilitar la característica de registro selectivo mediante acciones de script para HDInsight en Azure Portal. El registro selectivo le permite activar y desactivar distintos registros y orígenes de métricas disponibles a través de Log Analytics. Con esta característica, solo tendrá que pagar por lo que use.

Puede configurar la recopilación y el análisis de registros para habilitar o deshabilitar tablas en el área de trabajo de Log Analytics y ajustar el tipo de origen de cada tabla. Para obtener instrucciones detalladas, consulte Uso del registro selectivo con una acción de script en Azure HDInsight.

Registro de actividades de Azure

El registro de actividad contiene eventos de nivel de suscripción que realizan el seguimiento de las operaciones de cada recurso de Azure, tal como se ve desde fuera de ese recurso; por ejemplo, crear un recurso o iniciar una máquina virtual.

Recopilación: los eventos del registro de actividad se generan y recopilan automáticamente en un almacén independiente para su visualización en Azure Portal.

Enrutamiento: puedes enviar datos del registro de actividad a los registros de Azure Monitor para poder analizarlos junto con otros datos de registro. También están disponibles otras ubicaciones como Azure Storage, Azure Event Hubs y determinados asociados de supervisión de Microsoft. Para más información sobre cómo enrutar el registro de actividad, consulte Información general del registro de actividad de Azure.

Analizar los datos de supervisión

Hay muchas herramientas para analizar los datos de supervisión.

Herramientas de Azure Monitor

Azure Monitor admite las siguientes herramientas básicas:

• Explorador de métricas: una herramienta de Azure Portal que le permite ver y analizar métricas de recursos de Azure. Para obtener más información, consulte Análisis de métricas con el explorador de métricas de Azure Monitor.

• Log Analytics, una herramienta de Azure Portal que le permite consultar y analizar datos de registro mediante el lenguaje de consulta Kusto (KQL). Para más información, consulte Introducción a las consultas de registro en Azure Monitor.

• El registro de actividad: que tiene una interfaz de usuario en Azure Portal para visualización y búsquedas básicas. Para realizar un análisis más detallado, debe enrutar los datos a los registros de Azure Monitor y ejecutar consultas más complejas en Log Analytics.

Entre las herramientas que permiten una visualización más compleja se incluyen:

• Paneles que permiten combinar diferentes tipos de datos en un único panel de Azure Portal.
• Libros: informes personalizables que se pueden crear en Azure Portal. Los libros pueden incluir texto, métricas y consultas de registro.
• Grafana: una herramienta de plataforma abierta que se destaca en los paneles operativos. Puede usar Grafana para crear paneles que incluyan datos de varios orígenes distintos de Azure Monitor.
• Power BI: un servicio de análisis empresarial que proporciona visualizaciones interactivas en varios orígenes de datos. Puede configurar Power BI para que los datos de registro se importen automáticamente desde Azure Monitor y utilizar estas otras adicionales.

Los registros de Azure Monitor recopilan datos de los recursos del clúster de HDInsight y de otras herramientas de supervisión, y usan los datos para proporcionar análisis en varios orígenes.

• Debe configurar la integración de Azure Monitor para poder ver y analizar los registros de clúster directamente desde el clúster. Para más información, consulte Supervisión de la disponibilidad de un clúster con los registros Azure Monitor en HDInsight.

• Una nueva integración de Azure Monitor (versión preliminar) para HDInsight reemplaza a Log Analytics. Para más información, consulte Guía de migración de Log Analytics para clústeres de Azure HDInsight.

• Para conocer los escenarios básicos de uso de los registros de Azure Monitor para analizar las métricas del clúster de HDInsight y crear alertas de eventos, vea Consulta de los registros de Azure Monitor para supervisar los clústeres de HDInsight.

• Para obtener instrucciones detalladas sobre cómo habilitar los registros de Azure Monitor y agregar una solución de supervisión para las operaciones de clúster de Hadoop, consulte Uso de registros de Azure Monitor para supervisar clústeres de HDInsight.

Herramientas de exportación de Azure Monitor

Puede obtener datos de Azure Monitor en otras herramientas mediante los siguientes métodos:

• Métricas: con la API de REST para métricas puede extraer datos de métricas de la base de datos de métricas de Azure Monitor. La API admite expresiones de filtro para refinar los datos recuperados. Para obtener más información, consulte Referencia de la API de REST de Azure Monitor.

• Registros: use la API de REST o las bibliotecas de cliente asociadas.

• Otra opción es la exportación de datos del área de trabajo.

Para empezar a trabajar con la API de REST para Azure Monitor, consulte Tutorial de la API de REST de supervisión de Azure.

Consultas de Kusto

Puedes analizar datos de supervisión en el almacén de registros de Azure Monitor o Log Analytics mediante el lenguaje de consulta Kusto (KQL).

Importante

Al seleccionar Registros en el menú del servicio del portal, Log Analytics se abre con el ámbito de consulta establecido en el servicio actual. Este ámbito significa que las consultas de registro solo incluirán datos de ese tipo de recurso. Si quiere ejecutar una consulta que incluya datos de otros servicios de Azure, seleccione Registros en el menú Azure Monitor. Consulte Ámbito e intervalo de tiempo de una consulta de registro en Log Analytics de Azure Monitor para obtener más información.

Para obtener una lista de las consultas comunes de cualquier servicio, consulte Interfaz de consultas de Log Analytics.

Después de habilitar la integración de Azure Monitor, puede seleccionar Registros (versión preliminar) en el panel de navegación izquierdo de la página del portal de HDInsight y, a continuación, seleccionar la pestaña Consultas para ver consultas de ejemplo para el clúster. Por ejemplo, en la consulta siguiente se enumeran todos los equipos conocidos que no enviaron un latido en las últimas cinco horas.

// Unavailable computers 
Heartbeat
| summarize LastHeartbeat=max(TimeGenerated) by Computer
| where LastHeartbeat < ago(5h)

La siguiente consulta obtiene las 10 consultas que más recursos consumen, en función del consumo de CPU, en las últimas 24 horas.

// Top 10 resource intensive queries 
LAQueryLogs
| top 10 by StatsCPUTimeMs desc nulls last

Importante

La nueva integración de Azure Monitor implementa nuevas tablas en el área de trabajo de Log Analytics. Para eliminar la mayor ambigüedad posible, hay menos esquemas, y el formato de los esquemas está mejor organizado y es más fácil de entender.

La nueva integración de supervisión en Azure Portal usa las nuevas tablas, pero debe volver a trabajar con consultas y paneles antiguos para usar las nuevas tablas. Para ver las asignaciones de tablas de registro de la integración clásica de Azure Monitor con las nuevas tablas, consulte Asignación de tablas de registro.

Alertas

Las alertas de Azure Monitor le informan de forma proactiva cuando se detectan condiciones específicas en los datos que se supervisan. Las alertas permiten identificar y solucionar las incidencias en el sistema antes de que los clientes puedan verlos. Para obtener más información, vea Alertas de Azure Monitor.

Hay muchos orígenes de alertas comunes para los recursos de Azure. Para obtener ejemplos de alertas comunes para recursos de Azure, consulte Consultas de alertas de registro de ejemplo. El sitio de Alertas de línea de base de Azure Monitor (AMBA) proporciona un método semiautomatizado para implementar alertas, paneles e instrucciones importantes de métricas de plataforma. El sitio se aplica a un subconjunto de servicios de Azure que se expande continuamente, incluidos todos los servicios que forman parte de la zona de aterrizaje de Azure (ALZ).

El esquema de alerta común normaliza el consumo de notificaciones de alerta de Azure Monitor. Para obtener más información, consulte Esquema de alertas comunes.

Tipos de alertas

Puede alertar sobre cualquier métrica o fuente de datos de registro en la plataforma de datos de Azure Monitor. Hay muchos tipos diferentes de alertas en función de los servicios que está supervisando y de los datos de supervisión que está recopilando. Los distintos tipos de alertas tienen varias ventajas y desventajas. Para obtener más información, consulte Elegir el tipo de alerta de supervisión adecuado.

En la siguiente lista se describen los tipos de alertas de Azure Monitor que puede crear:

• Alertas de métricas: evalúan las métricas de recursos a intervalos regulares. Las métricas pueden ser métricas de plataforma, métricas personalizadas, registros de Azure Monitor convertidos en métricas o métricas de Application Insights. Las alertas de métricas también pueden aplicar varias condiciones y umbrales dinámicos.
• Alertas de registro: permiten a los usuarios emplear una consulta de Log Analytics para evaluar los registros de recursos con una frecuencia predefinida.
• Alertas del registro de actividad: se desencadenan cuando se produce un nuevo evento del registro de actividad que coincide con las condiciones definidas. Las alertas de Resource Health y de Service Health son alertas del registro de actividad que informan sobre el servicio y el estado de los recursos.

Algunos servicios de Azure también admiten alertas de detección inteligente, alertas de Prometheus, o reglas de alerta recomendadas.

Para algunos servicios, puede supervisar a escala aplicando la misma regla de alertas de métricas a varios recursos del mismo tipo que existen en la misma región de Azure. Se envían notificaciones individuales para cada recurso supervisado. Para obtener servicios y nubes de Azure compatibles, consulte Supervisión de varios recursos con una regla de alerta.

Reglas de alertas de HDInsight

Después de habilitar la integración de Azure Monitor, puede seleccionar Alertas en el panel de navegación izquierdo de la página del portal de HDInsight y, a continuación, seleccionar Crear regla de alertas para configurar alertas. Puede basar una alerta en cualquier consulta de Log Analytics o usar señales de métricas o del registro de actividad.

En la tabla siguiente se describen un par de reglas de alertas para HDInsight. Estas alertas son solo ejemplos. Puede configurar alertas para cualquier métrica, entrada de registro o entrada de registro de actividad que figura en la Referencia de datos de supervisión para HDInsight.

Tipo de alerta	Condición	Descripción
Métrica	CPU pendiente	Siempre que la CPU máxima pendiente sea mayor o menor que el umbral dinámico
Registro de actividad	Eliminación de clúster	Siempre que el registro de actividad tenga un evento con Category='Administrative', Signal name='Delete Cluster (HDInsight Cluster)'

Para ver un ejemplo que muestra cómo crear una alerta, consulte Alertas de Azure Monitor.

Recomendaciones de Advisor

Para algunos servicios, si se producen condiciones críticas o cambios inminentes durante las operaciones de recursos, se muestra una alerta en la página Información general del servicio del portal. Puede encontrar más información y correcciones recomendadas para la alerta en Recomendaciones de Advisor en Supervisión en el menú izquierdo. Durante las operaciones normales, no se muestran recomendaciones de Advisor.

Para más información sobre Azure Advisor, consulte Introducción a Azure Advisor.

Contenido relacionado

• Consulte Referencia de datos de supervisión de HDInsight para obtener una referencia de las métricas, los registros y otros valores importantes creados para HDInsight.
• Consulte Supervisión de recursos de Azure con Azure Monitor para obtener información general sobre la supervisión de recursos de Azure.