Habilitar la supervisión de trabajos de HDInsight.
La supervisión de un clúster de HDInsight resulta de gran interés para los ingenieros de datos y los administradores de TI, ya que les permite supervisar las siguientes áreas del clúster:
- Estado y disponibilidad de clústeres
- Uso de recursos y rendimiento
- Información y registros de las cargas de trabajo
Los administradores de TI usarán la supervisión para ver el mantenimiento y la disponibilidad del clúster, así como para supervisar la seguridad del clúster. A los ingenieros de datos les interesa lo siguiente:
- Información y registros de las cargas de trabajo
- Supervisión del funcionamiento correcto o con errores del trabajo
- Rendimiento del clúster
- Visualización de las cargas de trabajo mediante registros
Hay dos herramientas principales que se pueden usar para la supervisión: Apache Ambari y Azure Monitor.
Apache Ambari
Esta herramienta se usa para la administración y la supervisión de clústeres de código abierto. Proporciona un panel con una serie de widgets que permiten ver el estado de un clúster de HDInsight desde una perspectiva de hardware en el nivel de clúster y de nodo. Se puede acceder al panel desde la pantalla de información general del clúster de HDInsight en Azure Portal.
Apache Ambari se abre en un explorador web que proporciona un panel de herramientas de supervisión.
Muchas áreas de Apache Ambari son útiles tanto para los administradores de TI como para los ingenieros de datos. El panel inicial es útil para que los administradores de TI supervisen el mantenimiento del clúster en tiempo real. Hay otras áreas, como la pantalla de YARN, que permiten a los ingenieros de datos ver las capacidades de la cola, los trabajos y los registros asociados para supervisar las cargas de trabajo del clúster. Además, las capacidades de alerta le permiten identificar los componentes que no funcionan correctamente para que pueda actuar de manera proactiva en lo que respecta al soporte técnico del clúster.
Supervisión
Azure Monitor es una herramienta de supervisión de Azure que puede usarse en clústeres de HDInsight para supervisar el mantenimiento del servicio. Los aspectos de Azure Monitor se exponen directamente en Azure Portal:
Alertas
Las alertas son una herramienta útil para supervisar de forma proactiva un recurso en Azure y actuar en función de una condición. Se puede establecer una alerta en un recurso determinado, como un clúster de HDInsight, para determinar el umbral de una condición que dicta si se activa una alerta. Una condición podría incluir si se habilita la escalabilidad automática. Esta condición puede ser true o false. Las acciones pueden ir desde enviar un correo electrónico hasta reiniciar un servicio en función de cómo se defina la condición.
Métricas
Las métricas son un componente de Azure Monitor que le permite configurar gráficos visuales específicos de lo que quiere supervisar. El uso de gráficos visuales permite visualizar, medir y correlacionar los puntos de datos como ayuda para determinar si el rendimiento de un servicio está dentro de un intervalo aceptable. Las métricas de HDInsight incluyen solicitudes de puerta de enlace para ver la carga en el clúster y el número de trabajadores activos, lo que le permite vigilar el tamaño del clúster de HDInsight.
Configuración de diagnóstico
Esta configuración le permite seleccionar un destino (ya sea una cuenta de almacenamiento, un servicio del centro de eventos o una cuenta de Log Analytics) para recibir datos de diagnóstico sobre el servicio que ha habilitado. Los registros se envían al destino elegido, lo que hace posible registrar la actividad del servicio a lo largo del tiempo y analizarla más adelante. Esta configuración solo debe establecerse si se quiere realizar un análisis exhaustivo del servicio.
Azure Monitor
Hay un vínculo directo a Azure Monitor para que pueda usar todas las capacidades que ofrece Azure Monitor.
Estado de los recursos
Este panel es estándar en todos los servicios de Azure y permite ver el mantenimiento del servicio HDInsight en un día determinado. No se emiten notificaciones de esta área y deberá investigarla usted mismo. Resource Health ofrece una visión general de la información de mantenimiento.