Compartir a través de

Supervisión de Azure Stream Analytics

  • Artículo

En este artículo se describe:

  • Los tipos de datos de supervisión que puede recopilar para este servicio.
  • Formas de analizar esos datos.

Nota:

Si ya está familiarizado con este servicio o Azure Monitor y solo quiere saber cómo analizar los datos de supervisión, consulte la sección Analizar cerca del final de este artículo.

Cuando tenga aplicaciones críticas y procesos empresariales que dependan de los recursos de Azure, deberá supervisar y obtener alertas para el sistema. El servicio Azure Monitor recopila y agrega métricas y registros de todos los componentes del sistema. Azure Monitor proporciona una vista de la disponibilidad, el rendimiento y la resistencia, y le notifica los problemas. Puede usar Azure Portal, PowerShell, la CLI de Azure, la API de REST o las bibliotecas cliente para configurar y ver los datos de supervisión.

Para obtener instrucciones sobre cómo supervisar y administrar recursos de Azure Stream Analytics con cmdlets de Azure PowerShell y scripting de PowerShell, vea Monitor y administración de trabajos de Stream Analytics con cmdlets de Azure PowerShell.

Tipos de recursos

Azure usa el concepto de tipos de recursos e identificadores para identificar todo el contenido de una suscripción. Los tipos de recursos también forman parte de los identificadores de recursos para cada recurso que se ejecuta en Azure. Por ejemplo, un tipo de recurso para una máquina virtual es Microsoft.Compute/virtualMachines. Para obtener una lista de los servicios y sus tipos de recursos asociados, consulte Proveedores de recursos.

De forma similar, Azure Monitor organiza los datos principales de supervisión en métricas y registros en función de tipos de recursos, que también se denominan espacios de nombres. Hay diferentes métricas y registros disponibles para distintos tipos de recursos. Es posible que el servicio esté asociado a más de un tipo de recurso.

Para más información sobre los tipos de recursos para Azure Stream Analytics, vea referencia de datos de supervisión de Azure Stream Analytics.

Almacenamiento de datos

Para Azure Monitor:

  • Los datos de métricas se almacenan en la base de datos de métricas de Azure Monitor.
  • Los datos de registro se almacenan en el almacén de registros de Azure Monitor. Log Analytics es una herramienta de Azure Portal que puede hacer consultas en este almacén.
  • El registro de actividad de Azure es un almacén independiente con su propia interfaz en Azure Portal.

Opcionalmente, puede enrutar los datos del registro de actividad y las métricas al almacén de registros de Azure Monitor. A continuación, puede usar Log Analytics para consultar los datos y correlacionarlos con otros datos de registro.

Muchos servicios pueden usar la configuración de diagnóstico para enviar datos de métricas y de registro a otras ubicaciones de almacenamiento fuera de Azure Monitor. Algunos ejemplos son Azure Storage, sistemas de asociados hospedados y sistemas de asociados que no son de Azure mediante Event Hubs.

Para obtener información detallada sobre cómo Azure Monitor almacena datos, consulte Plataforma de datos de Azure Monitor.

Métricas de plataforma de Azure Monitor

Azure Monitor proporciona métricas de plataforma para la mayoría de los servicios. Estas son las métricas:

  • Se define individualmente para cada espacio de nombres.
  • Almacenado en la base de datos de métricas de serie temporal de Azure Monitor.
  • Ligero y capaz de admitir alertas casi en tiempo real.
  • Se usa para supervisar el rendimiento de un recurso a lo largo del tiempo.

Recopilación: Azure Monitor recopila automáticamente las métricas de la plataforma. No se requiere ninguna configuración.

Enrutamiento: también puede enrutar algunas métricas de la plataforma a registros de Azure Monitor o Log Analytics para poder consultarlas con otros datos de registro. Compruebe el valor Exportación de DS para ver si puede usar una configuración de diagnóstico a fin de enrutar la métrica a registros de Azure Monitor o Log Analytics.

Para obtener una lista de todas las métricas que es posible recopilar para todos los recursos de Azure Monitor, consulte Métricas admitidas en Azure Monitor.

Métricas de Azure Stream Analytics

Para obtener una descripción de cómo supervisar las métricas en Azure Portal, vea Supervisión del trabajo de Stream Analytics con Azure Portal.

Nota:

Los trabajos de Azure Stream Analytics que se crean a través de API REST, Azure SDK o PowerShell no tienen habilitada la supervisión de forma predeterminada. Para habilitar la supervisión, siga los pasos descritos en Creación mediante programación de un monitor de trabajos de Stream Analytics. A continuación, los datos de supervisión aparecen en el área Métricas de la página de Azure Portal del trabajo de Stream Analytics.

En la tabla siguiente se enumeran las condiciones y las acciones correctivas para algunas métricas de Azure Stream Analytics supervisadas habitualmente.

Métrica Condición Agregación de tiempo Umbral Acciones correctivas
% de uso de SU (memoria) Mayor que Media 80 Varios factores aumentan el uso de las SU. Puede escalar con paralelización de consultas o aumentar el número de unidades de SU. Para más información, consulte Aprovechamiento de la paralelización de consultas en Azure Stream Analytics.
Porcentaje de uso de CPU Mayor que Media 90 Esto probablemente significa que algunas operaciones (como funciones definidas por el usuario, agregados definidos por el usuario o deserialización de entrada compleja) requieren muchos ciclos de CPU. Normalmente, puede superar este problema aumentando el número de SU para el trabajo.
Errores en tiempo de ejecución Mayor que Total 0 Examine los registros de recursos o actividad y realice los cambios correspondientes en las entradas, la consulta o las salidas.
Retraso de la marca de agua Mayor que Media Cuando el valor medio de esta métrica en los últimos 15 minutos es mayor que la tolerancia de llegada tardía (en segundos). Si no ha modificado la tolerancia de llegada tardía, el valor predeterminado se establece en 5 segundos. Pruebe a aumentar el número de SU o a paralelizar su consulta. Para más información sobre las SU, consulte Descripción y ajuste de las unidades de streaming. Para más información sobre la paralelización de su consulta, consulte Aprovechamiento de la paralelización de consultas en Azure Stream Analytics.
Errores de deserialización de entrada Mayor que Total 0 Examine los registros de recursos o actividad y realice los cambios correspondientes en la entrada. Para más información sobre los registros de recursos, consulte Solución de problemas de Azure Stream Analytics mediante registros de recursos.

Para obtener una lista y descripciones de todas las métricas disponibles para Azure Stream Analytics, vea referencia de datos de supervisión de Azure Stream Analytics.

Registros de recursos de Azure Monitor

Los registros de recursos proporcionan información sobre las operaciones realizadas por un recurso de Azure. Los registros se generan automáticamente, pero debe enrutarlos a los registros de Azure Monitor para guardarlos o consultarlos. Los registros se organizan en categorías. Un espacio de nombres determinado puede tener varias categorías de registro de recursos.

Recopilación: los registros de recursos no se recopilan ni almacenan hasta que se crea una configuración de diagnóstico y se enrutan los registros a una o varias ubicaciones. Cuando se crea una configuración de diagnóstico, se especifican las categorías de registros que se van a recopilar. Hay varias maneras de crear y mantener la configuración de diagnóstico, como Azure Portal, hacerlo mediante programación o usar Azure Policy.

Enrutamiento: el valor predeterminado sugerido es enrutar los registros de recursos a los registros de Azure Monitor para poder consultarlos con otros datos de registro. También están disponibles otras ubicaciones como Azure Storage, Azure Event Hubs y determinados asociados de supervisión de Microsoft. Para más información, consulte los Registros de recursos de Azure y los Destinos de registro de recursos.

Para obtener información detallada sobre cómo recopilar, almacenar y enrutar registros de recursos, consulte Configuración de diagnóstico en Azure Monitor.

Para obtener una lista de todas las categorías de registro de recursos disponibles en Azure Monitor, consulte Registros de recursos admitidos en Azure Monitor.

Todos los registros de recursos de Azure Monitor tienen los mismos campos de encabezado, seguidos de campos específicos del servicio. El esquema común se describe en Esquema de registros de recursos de Azure Monitor.

Registros de Azure Stream Analytics

Azure Stream Analytics captura dos categorías de registros de recursos:

  • Creación: Captura registros de eventos relacionados con operaciones de creación de trabajos, como creación de trabajos, adición y eliminación de entradas y salidas, adición y actualización de la consulta, e inicio y detención del trabajo.

  • Ejecución: Captura los eventos que se producen durante la ejecución del trabajo.

    • Errores de conectividad
    • Errores de procesamiento de datos, como por ejemplo:
      • Eventos que no se ajustan a la definición de consulta (tipos y valores de campo no coincidentes, campos ausentes, etc.)
      • Errores de evaluación de expresión
    • Otros eventos y errores

Para conocer las categorías de registro de recursos disponibles, sus tablas de Log Analytics asociadas y los esquemas de registro de Azure Stream Analytics, vea referencia de datos de supervisión de Azure Stream Analytics.

Para obtener un tutorial detallado sobre cómo solucionar errores de trabajo de Azure Stream Analytics mediante registros de recursos, vea Solución de problemas de Azure Stream Analytics mediante registros de recursos.

Registro de actividades de Azure

El registro de actividad contiene eventos de nivel de suscripción que realizan el seguimiento de las operaciones de cada recurso de Azure, tal como se ve desde fuera de ese recurso; por ejemplo, crear un recurso o iniciar una máquina virtual.

Recopilación: los eventos del registro de actividad se generan y recopilan automáticamente en un almacén independiente para su visualización en Azure Portal.

Enrutamiento: puedes enviar datos del registro de actividad a los registros de Azure Monitor para poder analizarlos junto con otros datos de registro. También están disponibles otras ubicaciones como Azure Storage, Azure Event Hubs y determinados asociados de supervisión de Microsoft. Para más información sobre cómo enrutar el registro de actividad, consulte Información general del registro de actividad de Azure.

Para ver un tutorial detallado sobre cómo solucionar errores de trabajo de Azure Stream Analytics mediante el registro de actividad, vea Depuración mediante registros de actividad.

Analizar los datos de supervisión

Hay muchas herramientas para analizar los datos de supervisión.

Herramientas de Azure Monitor

Azure Monitor admite las siguientes herramientas básicas:

Entre las herramientas que permiten una visualización más compleja se incluyen:

  • Paneles que permiten combinar diferentes tipos de datos en un único panel de Azure Portal.
  • Libros: informes personalizables que se pueden crear en Azure Portal. Los libros pueden incluir texto, métricas y consultas de registro.
  • Grafana: una herramienta de plataforma abierta que se destaca en los paneles operativos. Puede usar Grafana para crear paneles que incluyan datos de varios orígenes distintos de Azure Monitor.
  • Power BI: un servicio de análisis empresarial que proporciona visualizaciones interactivas en varios orígenes de datos. Puede configurar Power BI para que los datos de registro se importen automáticamente desde Azure Monitor y utilizar estas otras adicionales.

Herramientas de exportación de Azure Monitor

Puede obtener datos de Azure Monitor en otras herramientas mediante los siguientes métodos:

Para empezar a trabajar con la API de REST para Azure Monitor, consulte Tutorial de la API de REST de supervisión de Azure.

Consultas de Kusto

Puedes analizar datos de supervisión en el almacén de registros de Azure Monitor o Log Analytics mediante el lenguaje de consulta Kusto (KQL).

Importante

Al seleccionar Registros en el menú del servicio del portal, Log Analytics se abre con el ámbito de consulta establecido en el servicio actual. Este ámbito significa que las consultas de registro solo incluirán datos de ese tipo de recurso. Si quiere ejecutar una consulta que incluya datos de otros servicios de Azure, seleccione Registros en el menú Azure Monitor. Consulte Ámbito e intervalo de tiempo de una consulta de registro en Log Analytics de Azure Monitor para obtener más información.

Para obtener una lista de las consultas comunes de cualquier servicio, consulte Interfaz de consultas de Log Analytics.

Consultas de ejemplo

A continuación se muestran consultas de ejemplo que puede usar para ayudar a supervisar los recursos de Azure Stream Analytics:

  • Enumerar todos los errores de datos de entrada. En la consulta siguiente se muestran todos los errores que se produjeron al procesar los datos de las entradas.

    AzureDiagnostics 
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).Type == "DataError" 
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Eventos que llegaron tarde. En la consulta siguiente se muestran errores debido a eventos en los que la diferencia entre la hora de la aplicación y la hora de llegada es mayor que la directiva de llegada tardía.

    AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and  parse_json(properties_s).DataErrorType == "LateInputEvent"
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Eventos que llegaron temprano. En la consulta siguiente se muestran errores debido a eventos en los que la diferencia entre la hora de la aplicación y la hora de llegada es mayor que 5 minutos.

    AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).DataErrorType == "EarlyInputEvent"
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Eventos que llegaron desordenados. En la consulta siguiente se muestran errores debidos a eventos que llegan desordenados según la directiva de desorden.

    // To create an alert for this query, click '+ New alert rule'
AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).DataErrorType == "OutOfOrderEvent"
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • Todos los errores de datos de salida. En la consulta siguiente se muestran todos los errores que se produjeron al escribir los resultados de la consulta en las salidas del trabajo.

    AzureDiagnostics
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and parse_json(properties_s).DataErrorType in ("OutputDataConversionError.RequiredColumnMissing", "OutputDataConversionError.ColumnNameInvalid", "OutputDataConversionError.TypeConversionError", "OutputDataConversionError.RecordExceededSizeLimit", "OutputDataConversionError.DuplicateKey")
| project TimeGenerated, Resource, Region_s, OperationName, properties_s, Level, _ResourceId

  • En la consulta siguiente se muestra el resumen de las operaciones con error en los últimos siete días.

    AzureDiagnostics
| where TimeGenerated > ago(7d) //last 7 days
| where ResourceProvider == "MICROSOFT.STREAMANALYTICS" and status_s == "Failed" 
| summarize Count=count(), sampleEvent=any(properties_s) by JobName=Resource

Alertas

Las alertas de Azure Monitor le informan de forma proactiva cuando se detectan condiciones específicas en los datos que se supervisan. Las alertas permiten identificar y solucionar las incidencias en el sistema antes de que los clientes puedan verlos. Para obtener más información, vea Alertas de Azure Monitor.

Hay muchos orígenes de alertas comunes para los recursos de Azure. Para obtener ejemplos de alertas comunes para recursos de Azure, consulte Consultas de alertas de registro de ejemplo. El sitio de Alertas de línea de base de Azure Monitor (AMBA) proporciona un método semiautomatizado para implementar alertas, paneles e instrucciones importantes de métricas de plataforma. El sitio se aplica a un subconjunto de servicios de Azure que se expande continuamente, incluidos todos los servicios que forman parte de la zona de aterrizaje de Azure (ALZ).

El esquema de alerta común normaliza el consumo de notificaciones de alerta de Azure Monitor. Para obtener más información, consulte Esquema de alertas comunes.

Tipos de alertas

Puede alertar sobre cualquier métrica o fuente de datos de registro en la plataforma de datos de Azure Monitor. Hay muchos tipos diferentes de alertas en función de los servicios que está supervisando y de los datos de supervisión que está recopilando. Los distintos tipos de alertas tienen varias ventajas y desventajas. Para obtener más información, consulte Elegir el tipo de alerta de supervisión adecuado.

En la siguiente lista se describen los tipos de alertas de Azure Monitor que puede crear:

  • Alertas de métricas: evalúan las métricas de recursos a intervalos regulares. Las métricas pueden ser métricas de plataforma, métricas personalizadas, registros de Azure Monitor convertidos en métricas o métricas de Application Insights. Las alertas de métricas también pueden aplicar varias condiciones y umbrales dinámicos.
  • Alertas de registro: permiten a los usuarios emplear una consulta de Log Analytics para evaluar los registros de recursos con una frecuencia predefinida.
  • Alertas del registro de actividad: se desencadenan cuando se produce un nuevo evento del registro de actividad que coincide con las condiciones definidas. Las alertas de Resource Health y de Service Health son alertas del registro de actividad que informan sobre el servicio y el estado de los recursos.

Algunos servicios de Azure también admiten alertas de detección inteligente, alertas de Prometheus, o reglas de alerta recomendadas.

Para algunos servicios, puede supervisar a escala aplicando la misma regla de alertas de métricas a varios recursos del mismo tipo que existen en la misma región de Azure. Se envían notificaciones individuales para cada recurso supervisado. Para obtener servicios y nubes de Azure compatibles, consulte Supervisión de varios recursos con una regla de alerta.

Reglas de alertas de Azure Stream Analytics

En la tabla siguiente se enumeran algunas reglas de alerta sugeridas para Azure Stream Analytics. Estas alertas son solo ejemplos. Puede establecer alertas para cualquier entrada de métrica, entrada de registro o registro de actividad que aparezca en la referencia de datos de supervisión de Azure Stream Analytics.

Tipo de alerta Condición Descripción
Métricas de la plataforma Uso de memoria de la unidad de streaming (SU) Cada vez que el promedio de SU (memoria) % de uso es mayor que el 80 %
Registro de actividad Operaciones con error Siempre que el registro de actividad tenga un evento con Category='Administrative', Signal name='Todas las operaciones administrativas', Status='Failed'

Para obtener instrucciones detalladas sobre cómo configurar una alerta para Azure Stream Analytics, vea Configuración de alertas para trabajos de Azure Stream Analytics.

Recomendaciones de Advisor

Para algunos servicios, si se producen condiciones críticas o cambios inminentes durante las operaciones de recursos, se muestra una alerta en la página Información general del servicio del portal. Puede encontrar más información y correcciones recomendadas para la alerta en Recomendaciones de Advisor en Supervisión en el menú izquierdo. Durante las operaciones normales, no se muestran recomendaciones de Advisor.

Para más información sobre Azure Advisor, consulte Introducción a Azure Advisor.

Contenido relacionado