Procesamiento de datos de un centro de eventos con Azure Stream Analytics

El servicio Azure Stream Analytics permite ingerir, procesar y analizar fácilmente los datos de streaming procedentes de Azure Event Hubs, lo que proporciona valiosa información para emprender acciones en tiempo real. Puede usar Azure Portal para visualizar los datos de entrada y escribir una consulta de Stream Analytics. Cuando la consulta esté lista, podrá transferirla a producción con solo unos pocos clics.

Ventajas principales

Estas son las principales ventajas de la integración de Azure Event Hubs y Azure Stream Analytics:

• Vista previa de datos: puede obtener una vista previa de los datos de entrada de un centro de eventos en Azure Portal.
• Comprobación de la consulta: prepare una consulta de transformación y pruébela directamente en Azure Portal. Si necesita información sobre la sintaxis del lenguaje de consulta, consulte la documentación sobre el lenguaje de consulta de Stream Analytics.
• Implementación de la consulta en producción: puede implementar la consulta en producción creando e iniciando un trabajo de Azure Stream Analytics.

Flujo integral

Importante

• Si no es miembro de roles de propietario o colaborador en el nivel de suscripción de Azure, debe ser miembro del rol evaluador de consultas de Stream Analytics en el nivel de suscripción de Azure para completar correctamente los pasos de esta sección. Este rol le permite realizar consultas de prueba sin crear primero un trabajo de Stream Analytics. Para obtener instrucciones sobre cómo asignar un rol a un usuario, consulte Asignación de roles de AD a usuarios.
• Si el centro de eventos solo permite el acceso privado a través de puntos de conexión privados, debe tener el trabajo de Stream Analytics unido a la misma red para que el trabajo pueda acceder a eventos en el centro de eventos.

1. Inicie sesión en Azure Portal.

2. Vaya al espacio de nombres de Event Hubs y acceda al centro de eventos que contiene los datos de entrada.

3. En el menú de navegación de la izquierda, expanda Características, seleccione Procesar datos y después Iniciar en el icono Habilitar información en tiempo real de eventos.

   

4. Aparecerá una página de consulta con valores ya establecidos en los campos siguientes. Si ve una ventana emergente sobre un grupo de consumidores y una directiva que se va a crear automáticamente, seleccione Aceptar. Aparece inmediatamente una instantánea de los últimos datos de entrada en esta pestaña.

   1. El centro de eventos, como entrada de la consulta.

   2. Una consulta SQL de ejemplo con la instrucción SELECT.

   3. Un alias de salida que hace referencia a los resultados de la prueba de consulta.

      

   • El tipo de serialización de los datos se detecta automáticamente (JSON o CSV). Puede cambiarlo manualmente a JSON, CSV o AVRO.

   • Puede obtener una vista previa de los datos de entrada en formato de tabla o en formato sin procesar.

   • Si los datos que aparecen no están actualizados, seleccione Actualizar para ver los eventos más recientes.

   • En la imagen anterior, los resultados se muestran en formato de tabla. Para ver los datos sin formato, seleccione Sin formato

     

5. Seleccione Test query (Consulta de prueba) para ver una instantánea de los resultados de prueba de la consulta en la pestaña Test results (Resultados de la prueba). También puede descargar los resultados.

   

   Escriba su propia consulta para transformar los datos. Consulte Stream Analytics Query Language reference (Referencia del lenguaje de consulta de Stream Analytics).///

6. Una vez que haya probado la consulta y quiera pasarla a producción, seleccione Crear trabajo de Stream Analytics.

   

7. En la página Nuevo trabajo de Stream Analytics, siga estos pasos:

   1. Especifique un nombre para el trabajo.

   2. Seleccione la suscripción a Azure en la que quiere que se cree el trabajo.

   3. Seleccione el grupo de recursos para el recurso de trabajo de Stream Analytics.

   4. Seleccione una ubicación para el trabajo.

   5. Para el nombre de la directiva de Event Hubs, cree una nueva directiva o seleccione una existente.

   6. Para el grupo de consumidores de Event Hubs, cree un nuevo grupo de consumidores o seleccione un grupo de consumidores existente.

   7. Seleccione Crear para crear el trabajo de Stream Analytics.

      

      Nota:

      Le recomendamos que cree un grupo de consumidores y una directiva para cada nuevo trabajo de Azure Stream Analytics que cree en la página de Event Hubs. Los grupos de consumidores solo permiten cinco lectores simultáneos, por lo que, si se proporciona un grupo de consumidores dedicado para cada trabajo, se evitarán los errores que podrían surgir en caso de que se superara ese límite. Las directivas dedicadas le permiten cambiar la clave o revocar permisos sin afectar a otros recursos.

8. El trabajo de Stream Analytics se crea en el mismo lugar de la consulta que coincide con la consulta probada; el centro de eventos se utiliza como entrada.

   

9. Agregue una salida de su elección.

10. Vuelva a la página de trabajos de Stream Analytics haciendo clic en el nombre del trabajo en el vínculo de la ruta de navegación.

11. Seleccione Editar consulta encima de la ventana Consulta .

12. Actualice [OutputAlias] con el nombre de salida y seleccione Guardar vínculo de consulta encima de la consulta. Cierre la página Consulta seleccionando X en la esquina superior derecha.

13. Ahora, en la página de trabajos de Stream Analytics, seleccione Iniciar en la barra de herramientas para iniciar el trabajo.

    

Access

Problema: el usuario no puede acceder a los datos de la vista previa porque no tiene los permisos adecuados en la Suscripción.

Opción 1: el usuario que quiera obtener una vista previa de los datos entrantes debe agregarse como colaborador en la suscripción.

Opción 2: el usuario debe agregarse con el rol Evaluador de consultas de Stream Analytics en la suscripción. Vaya a Control de acceso de la suscripción. Agregue una nueva asignación de roles para el usuario como "Evaluador de consultas de Stream Analytics".

Opción 3: el usuario puede crear un trabajo de Azure Stream Analytics. Establezca la entrada como este centro de eventos y vaya a "Consulta" para obtener una vista previa de los datos entrantes de este centro de eventos.

Opción 4: el administrador puede crear un rol personalizado en la suscripción. Agregue los permisos siguientes al rol personalizado y agregue el usuario al nuevo rol personalizado.

Unidades de streaming

El valor de Azure Stream Analytics se establece de forma predeterminada en tres unidades de streaming (SU). Para ajustar esta configuración, seleccione Escala en el menú izquierdo de la página Trabajo de Stream Analytics de Azure Portal. Para más información sobre las unidades de streaming, consulte Descripción y ajuste de las unidades de streaming.

Consideraciones al usar la característica de replicación geográfica de Event Hubs

Azure Event Hubs lanzó recientemente la característica Replicación geográfica en versión preliminar pública. Esta característica es diferente de la característica de Recuperación ante desastres geográfica de Azure Event Hubs.

Cuando el tipo de conmutación por error es Forzado y la coherencia de la replicación es Asincrónica, el trabajo de Stream Analytics no garantiza exactamente una salida una vez en una salida de Azure Event Hubs.

Azure Stream Analytics, como productor con un centro de eventos una salida, podría observar el retraso de la marca de agua en el trabajo durante la duración de la conmutación por error y durante la limitación por Event Hubs en caso de que el retraso de replicación entre principal y secundario alcance el retraso máximo configurado.

Azure Stream Analytics, como consumidor con Event Hubs como entrada, puede observar el retraso de la marca de agua en el trabajo durante la duración de la conmutación por error y podría omitir los datos o buscar datos duplicados una vez completada la conmutación por error.

Debido a estas advertencias, se recomienda reiniciar el trabajo de Stream Analytics con la hora de inicio adecuada justo después de que se complete la conmutación por error de Event Hubs. Además, dado que la característica de replicación geográfica de Event Hubs está en versión preliminar pública, no se recomienda usar este patrón para trabajos de producción de Stream Analytics en este momento. El comportamiento actual de Stream Analytics mejorará antes de que la característica de replicación geográfica de Event Hubs esté disponible con carácter general y se pueda usar en trabajos de producción de Stream Analytics.

Contenido relacionado

Para más información sobre de las consultas de Stream Analytics, consulte este artículo sobre el lenguaje de consulta de Stream Analytics