Guía de migración de Log Analytics para clústeres de Azure HDInsight

Azure HDInsight es un servicio de clústeres administrados, listo para las empresas. Este servicio ejecuta marcos de análisis de código abierto, como Apache Spark, Hadoop, HBase y Kafka en Azure. Azure HDInsight se ha integrado con otros servicios de Azure para permitir a los clientes administrar mejor sus aplicaciones de análisis de macrodatos.

Log Analytics ofrece una herramienta en Azure Portal para editar y ejecutar consultas de registros. Las consultas proceden de los datos recopilados por los registros de Azure Monitor y analizan sus resultados de manera interactiva. Los clientes pueden usar consultas de Log Analytics para recuperar registros que coincidan con criterios específicos. También pueden usar consultas para identificar tendencias, analizar patrones y proporcionar conclusiones sobre sus datos.

Azure HDInsight habilitó la integración en Log Analytics en 2017. Los clientes de HDInsight adoptaron rápidamente esta característica para supervisar sus clústeres de HDInsight y consultar los registros de los clústeres. Aunque la adopción de esta característica ha aumentado, los clientes han enviado comentarios sobre la integración:

• Los clientes no pueden decidir qué registros almacenar, y almacenar todos los registros puede resultar costoso.
• Los registros de esquemas de HDInsight actuales no cumplen convenciones de nomenclatura coherentes, y algunas tablas son repetitivas.
• Los clientes quieren un panel ya integrado para supervisar fácilmente el KPI de sus clústeres de HDInsight.
• Los clientes tienen que saltar a Log Analytics para ejecutar consultas sencillas.

Información general de la solución

Teniendo en cuenta los comentarios de los clientes, el equipo de Azure HDInsight invirtió en la integración en Azure Monitor. Esta integración permite:

• Un nuevo conjunto de tablas en el área de trabajo de Log Analytics de los clientes. Las nuevas tablas se entregan a través de una nueva canalización de Log Analytics.
• Mayor confiabilidad.
• Entrega de registros más rápida.
• Agrupación de tablas basadas en recursos y consultas predeterminadas.

Ventajas de la nueva integración en Azure Monitor

En este documento se describen los cambios en la integración de Azure Monitor y se proporcionan procedimientos recomendados para usar las nuevas tablas.

Esquemas rediseñados: el formato de los esquemas para la nueva integración de Azure Monitor está mejor organizado y es fácil de entender. Hay dos tercios menos esquemas, lo que elimina la mayor cantidad posible de ambigüedad en los esquemas heredados.

Registro selectivo: hay registros y métricas disponibles en Log Analytics. Para ayudarle a ahorrar en los costos de supervisión, publicaremos una nueva característica de registro selectivo. Use esta característica para activar y desactivar diferentes registros y orígenes de métricas. Con esta característica, solo tendrá que pagar por lo que use. Para más información, consulte Registro selectivo.

Integración del portal de clústeres de registros: el panel Registros es nuevo en el portal de clústeres de HDInsight. Cualquier usuario con acceso al clúster puede ir a este panel para consultar cualquier tabla a la que el recurso de clúster envíe registros. Los usuarios ya no necesitan acceso al área de trabajo de Log Analytics para ver los registros de un recurso de clúster específico.

Integración del portal de clústeres de Insights: el panel Insights también es nuevo en el portal de clústeres de HDInsight. Después de habilitar la nueva integración de Azure Monitor, puede seleccionar el panel Insights y un panel integrado de métricas y registros específico del tipo del clúster se rellenará automáticamente. Estos paneles se han renovado a partir de nuestras soluciones de Azure anteriores. Brindan información detallada sobre el rendimiento y el estado del clúster.

Escenarios de cliente

En las secciones siguientes se describe cómo los clientes pueden usar la nueva integración de Azure Monitor en distintos escenarios. En la sección Activación de una nueva integración de Azure Monitor se describe cómo activar y usar la nueva integración de Azure Monitor. En la sección Migración de Azure Monitor clásico a la nueva integración de Azure Monitor se incluye información adicional para los usuarios que dependen de la integración de Azure Monitor anterior.

Nota

Solo los clústeres creados a finales de septiembre de 2020 y después son aptos para la nueva integración de Azure Monitor.

Activación de una nueva integración de Azure Monitor

Nota

Tiene que tener un área de trabajo de Log Analytics creada en una suscripción a la que tenga acceso antes de habilitar la nueva integración. Para obtener más información sobre la creación de un área de trabajo de Log Analytics, consulte Creación de un área de trabajo de Log Analytics en Azure Portal.

Para activar la nueva integración, vaya a la página del portal del clúster y desplácese hacia abajo en el menú de la izquierda hasta llegar a la sección Supervisión. En la sección Supervisión, seleccione Monitor integration (Integración de Monitor). A continuación, seleccione Habilitar y podrá elegir el área de trabajo de Log Analytics a la que quiere que se envíen los registros. Seleccione Guardar una vez que haya elegido el área de trabajo.

Acceso a las nuevas tablas

Hay dos maneras de acceder a las nuevas tablas.

Enfoque 1:

La primera manera de acceder a las nuevas tablas es a través del área de trabajo de Log Analytics.

1. Vaya al área de trabajo de Log Analytics que seleccionó al habilitar la integración.
2. Desplácese hacia abajo en el menú de la izquierda de la pantalla y seleccione Registros. Aparecerá un editor Consultas de registros con una lista de todas las tablas en el área de trabajo.
3. Si las tablas se agrupan por Solución, las nuevas tablas de HDI se encuentran en la sección Administración de registros.
4. Si agrupa las tablas por Tipo de recurso, las tablas se encuentran en la sección Clústeres de HDInsight, como se muestra en la imagen siguiente.

Nota

En este proceso se describe cómo se accedía a los registros en la integración anterior. Esto requiere que el usuario tenga acceso al área de trabajo.

Enfoque 2:

La segunda manera de acceder a las nuevas tablas es a través del acceso al portal del clúster.

1. Vaya a la página del portal del clúster y desplácese hacia abajo en el menú de la izquierda hasta que vea la sección Supervisión. En esta sección, verá el panel Registros.
2. Seleccione Registros, y aparecerá un editor Consultas de registros. El editor contiene todos los registros asociados al recurso de clúster. Envió los registros al área de trabajo de Log Analytics al habilitar la integración. Estos registros proporcionan acceso basado en recursos (RBAC). Con RBAC, los usuarios que tienen acceso al clúster, pero no al área de trabajo, pueden ver los registros asociados al clúster.

Para ver la comparación, en las capturas de pantalla siguientes se muestran la vista del área de trabajo de integración heredada y la nueva vista del área de trabajo de integración:

Vista heredada del área de trabajo de integración

Nueva vista del área de trabajo de integración

Uso de las nuevas tablas

Estas integraciones pueden ayudarle a usar las nuevas tablas:

Consultas predeterminadas para usar con las nuevas tablas

En el editor Consultas de registros, establezca el botón de alternancia en Consultas encima de la lista de tablas. Asegúrese de agrupar las consultas por Tipo de recurso y de que no haya ningún filtro establecido para un tipo de recurso distinto de Clústeres de HDInsight. En la imagen siguiente se muestra el aspecto de los resultados cuando se agrupan por Tipo de recurso y se filtran para Clústeres de HDInsight. Solo tiene que seleccionar uno para que aparezca en el editor Consultas de registros. Asegúrese de leer los comentarios incluidos en las consultas, ya que algunos requieren que escriba información, como el nombre del clúster, para que la consulta se ejecute correctamente.

Creación de sus propias consultas

Puede escribir sus propias consultas en el editor Consultas de registros. Las consultas usadas en las tablas antiguas no serán válidas en las tablas nuevas, ya que muchas de las nuevas tablas tienen esquemas nuevos y refinados. Las consultas predeterminadas son referencias excelentes para dar forma a las consultas en las nuevas tablas.

Información detallada

En Información se encuentran paneles de visualización específicos del clúster creados mediante Azure Workbooks. Estos paneles le dan gráficos y visualizaciones detallados de cómo se ejecuta el clúster. Los paneles tienen secciones para cada tipo de clúster, YARN, métricas del sistema y registros de componentes. Para acceder al panel del clúster, visite la página del clúster en el portal, desplácese hacia abajo hasta la sección Supervisión y seleccione el panel Información. El panel se carga automáticamente si ha habilitado la nueva integración. Espere unos segundos para que los gráficos se carguen a medida que consulten los registros.

Libros de Azure personalizados

Puede crear sus propios libros de Azure con gráficos y visualizaciones personalizados. En la página del portal del clúster, desplácese hacia abajo hasta la sección Supervisión y seleccione el panel Libros en el menú de la izquierda. Puede empezar a usar una plantilla en blanco o usar una de las plantillas de la sección Clústeres de HDInsight. Hay una plantilla para cada tipo de clúster. Las plantillas son útiles si quiere guardar personalizaciones específicas que la Información de HDInsight predeterminada no proporciona. No dude en enviar solicitudes de nuevas características en Información de HDInsight si cree que carecen de algo.

Alertas

Puede agregar alertas personalizadas a los clústeres y áreas de trabajo en el editor Consultas de registro. Para ir al editor Consultas de registros, seleccione el panel Registros en el portal del clúster o del área de trabajo. Ejecute una consulta y, a continuación, seleccione Nueva regla de alertas, como se muestra en la captura de pantalla siguiente. Para obtener más información, lea sobre la configuración de alertas.

Migración a la nueva integración de Azure Monitor

Si usa la integración clásica de Azure Monitor, debe realizar algunos ajustes en los formatos de las nuevas tablas después de cambiar a la nueva integración de Azure Monitor.

Para habilitar la nueva integración de Azure Monitor, siga los pasos descritos en la sección Activación de una nueva integración de Azure Monitor.

Ejecución de consultas en Log Analytics

Dado que el formato de las nuevas tablas es diferente del anterior, las consultas deben modificarse para poder usar las nuevas tablas. Una vez que haya habilitado la nueva integración de Azure Monitor, puede examinar las tablas y esquemas para identificar los campos que se usan en las consultas antiguas.

Proporcionamos una tabla de asignación entre la tabla antigua y la nueva tabla para ayudarle a encontrar rápidamente los nuevos campos que necesita usar para migrar los paneles y las consultas.

Consultas predeterminadas: hemos creado consultas predeterminadas que muestran cómo usar las nuevas tablas para situaciones comunes. Las consultas predeterminadas también muestran qué información está disponible en cada tabla. Para acceder a las consultas predeterminadas, puede seguir las instrucciones de la sección Consultas predeterminadas para usar con las nuevas tablas de este artículo.

Actualización de paneles para clústeres de HDInsight

Si ha creado varios paneles para supervisar los clústeres de HDInsight, tiene que ajustar la consulta detrás de la tabla una vez que habilite la nueva integración de Azure Monitor. El nombre de la tabla o el nombre del campo pueden haber cambiado en la nueva integración, pero se incluye toda la información que tiene en la integración anterior.

Consulte la tabla de asignación entre la tabla o el esquema anteriores y la tabla o el esquema nuevos para actualizar la consulta detrás de los paneles.

Paneles integrados

También se han mejorado los paneles integrados en el nivel de clúster. Hay un botón en la parte superior derecha de cada gráfico, que le permite ver la consulta subyacente que genera la información. El gráfico es una excelente manera de familiarizarse con cómo se pueden consultar las nuevas tablas de manera eficaz.

Habilitación de ambas integraciones para acelerar la migración

Puede activar tanto las integraciones clásicas como nuevas de Azure Monitor al mismo tiempo en un clúster que sea apto para ambas integraciones a los efectos de migrar rápidamente a la nueva integración de Azure Monitor. La nueva integración está disponible para todos los clústeres creados después de mediados de septiembre de 2020.

De esta manera, puede realizar fácilmente una comparación en paralelo de las consultas que está usando.

Habilitación de la integración clásica

Si usa un clúster creado después de mediados de septiembre de 2020, verá la nueva experiencia del portal en el portal del clúster. Para habilitar la nueva canalización, siga los pasos descritos en la sección Activación de una nueva integración de Azure Monitor. Para activar la integración clásica en este clúster, vaya a la página del portal del clúster. Seleccione el panel Monitor integration (Supervisión de Monitor) en la sección Supervisión del menú a la izquierda de la página del portal del clúster. Seleccione Configure Azure Monitor for HDInsight clusters integration (classic) (Configurar la integración de Azure Monitor para clústeres de HDInsight [clásico]). Aparece un menú contextual lateral con un botón de alternancia que puede usar para habilitar y deshabilitar la integración clásica de Azure Monitor.

Nota

No verá ningún registro ni métrica de la integración clásica a través de la página Información y los registros del portal del clúster. Solo los nuevos registros y métricas de integraciones se presentarán en esas ubicaciones.

La creación de nuevos clústeres con la integración clásica de Azure Monitor no estará disponible a partir del 1 de enero de 2023.

Escala de tiempo de lanzamiento y soporte técnico

• La integración clásica de Azure Monitor no estará disponible después del 15 de octubre de 2021. No se puede habilitar la integración clásica de Azure Monitor después de esa fecha.
• La ingesta de integración de supervisión de Azure clásica no funcionará después del 31 de agosto de 2024.
• Los clústeres de HDInsight con integración de Azure Monitor (vista previa) no se admitirán a partir del 1 de febrero de 2025.
• La integración existente de Azure Monitor (vista previa) seguirá funcionando hasta el 31 de enero de 2025. Habrá compatibilidad limitada con la integración de Azure Monitor (vista previa).
  • Si la solución requiere un cambio de imagen, los clientes deben pasarse a la nueva integración.
  • Microsoft no revisará los clústeres de integración de Azure Monitor (vista previa), excepto los problemas de seguridad críticos.

Apéndice: Asignación de tablas

Para ver las asignaciones de tablas de registro de la integración clásica de Azure Monitor con la nueva, consulte Asignación de tablas de registro.

Contenido relacionado

Consulta a los registros de Azure Monitor para supervisar clústeres de HDInsight