Compartir vía

Utilizar el editor sin código de Azure Stream Analytics para transformar y almacenar datos en una base de datos Azure SQL

  • Artículo

Este artículo describe cómo puede utilizar el editor sin código para crear fácilmente un trabajo de Stream Analytics, que lee continuamente datos de una instancia de Event Hubs (concentrador de eventos), transforma los datos y, a continuación, escribe los resultados en una base de datos Azure SQL.

Requisitos previos

Tus recursos Azure Event Hubs y Azure SQL Database deben ser de acceso público y no estar detrás de un firewall o protegidos en una Azure Virtual Network. Los datos de Event Hubs deben serializarse en formato JSON, CSV o Avro.

Si quiere probar los pasos de este artículo, siga estos pasos.

  • Cree un centro de eventos si aún no tiene uno. Genere datos en el centro de eventos. En la página Instancia de centro de eventos, seleccione Generar datos (versión preliminar) en el menú de la izquierda, seleccione Datos de inventario para Conjunto de datos y, a continuación, seleccione Enviar para enviar algunos datos de muestra al centro de eventos. Este paso es necesario si desea probar los pasos de este artículo.

    Captura de pantalla que muestra la página Generar datos (versión preliminar) de una instancia de Event Hubs.

  • Crear una base de datos Azure SQL. A continuación se indican algunos puntos importantes a tener en cuenta mientras se crea la base de datos.

    1. En la página Básicos, seleccione Crear nueva para Servidor. A continuación, en la página Crear servidor de SQL Database, seleccione Usar autenticación SQL y especifique el ID de usuario y la contraseña de administrador.

    2. En la página Redes, siga estos pasos:

      1. Habilite Punto de conexión público.
      2. Seleccione Sí en Permitir que los servicios y recursos de Azure accedan a este servidor.
      3. Seleccione Sí para Agregar dirección IP de cliente actual.

    3. En la página Configuración adicional, seleccione Ninguna para Utilizar datos existentes.

    4. En el artículo, omita los pasos de las secciones Consultar la base de datos y Limpiar recursos.

    5. Si desea probar los pasos, cree una tabla en la base de datos SQL mediante el Editor de consultas (versión preliminar).

      create table stocks (
    symbol varchar(4),
    price decimal
)

Utilizar el editor sin código para crear un trabajo de Stream Analytics

En esta sección, se crea un trabajo Azure Stream Analytics mediante el editor sin código. El trabajo transforma el flujo de datos desde una instancia de Event Hubs (centro de eventos) y almacena los datos resultantes en una base de datos Azure SQL.

  1. En el Azure Portal, vaya a la página Instancia de Event Hubs de su centro de eventos.

  2. Seleccione Características>Procesar datos en el menú de la izquierda y, a continuación, seleccione Iniciar en la tarjeta Transformar y almacenar datos en base de datos SQL.

    Captura de pantalla que muestra el filtro y la ingesta a la tarjeta ADLS Gen2 donde se selecciona Inicio.

  3. Escriba un nombre para el trabajo de Stream Analytics y seleccione Crear. Verá el diagrama de trabajo de Stream Analytics con la ventana de Event Hubs a la derecha.

    Captura de pantalla que muestra dónde ingresar un nombre de trabajo.

  4. En la ventana Event hub, revise los ajustes de Serialización y Modo de autenticación, y seleccione Conectar.

    Captura de pantalla que muestra la configuración de conexión de Event Hubs.

  5. Cuando la conexión se establezca correctamente y tenga datos en su instancia de centros de eventos, verá dos cosas:

    • Campos que están presentes en los datos de entrada. Puede elegir Agregar campo o seleccionar el símbolo de puntos suspensivos junto a un campo para quitar, cambiar el nombre o cambiar su tipo.

      Captura de pantalla que muestra la lista de campos de Event Hubs donde puede quitar, cambiar el nombre o cambiar el tipo de campo.

    • Ejemplo dinámico de datos entrantes en la tabla de Vista previa de los datos en la vista de diagrama. Se actualiza automáticamente de manera periódica. Puede seleccionar Pause streaming preview (Pausar vista previa de streaming) para ver una vista estática de los datos de entrada de ejemplo.

      Captura de pantalla que muestra datos de ejemplo en Vista previa de datos.

  6. Seleccione el icono Agrupar por para agregar los datos. En el panel de configuración Agrupar por, puede especificar el campo que quiera usar para Agrupar por junto con la Ventana de tiempo.

    En el siguiente ejemplo, se utiliza la media de precio y símbolo.

    Captura de pantalla que muestra la configuración del operador group by.

  7. Puede validar los resultados del paso en la sección Versión preliminar de datos.

    Captura de pantalla que muestra la versión preliminar de datos para el operador agrupar por.

  8. Seleccione el icono Administrar campos. En el panel de configuración Administrar campos, seleccione los campos que desee mostrar seleccionando Añadir campo. ->Esquema Importado -> campo.

    Si desea agregar todos los campos, seleccione Agregar todos los campos. Al añadir un campo, puede especificar un nombre diferente para la salida. Por ejemplo, AVG_Value en Value. Después de guardar las selecciones, verá los datos en el panel Versión preliminar de datos.

    En el siguiente ejemplo, Símbolo y AVG_Valor están seleccionados. Símbolo se asigna a símbolo, y AVG_Value se asigna a precio.

    Captura de pantalla que muestra la configuración del operador para administrar campos.

  9. Seleccione el icono SQL. En el panel de configuración SQL Database, rellene los parámetros necesarios y conéctese. Seleccione Cargar tabla existente para que la tabla se seleccione automáticamente. En el siguiente ejemplo, se selecciona [dbo].[stocks]. A continuación, seleccione Conectar.

    Nota

    El esquema de la tabla que elija para escribir debe coincidir exactamente con el número y tipo de los campos que genera la versión preliminar de los datos.

    Captura de pantalla que muestra la configuración de salida de la base de datos sql.

  10. En el panel Versión preliminar de datos, verá la versión preliminar de los datos que se ingieren en la base de datos SQL.

    Captura de pantalla que muestra la opción Obtener vista previa estática o Actualizar vista previa estática.

  11. Seleccione Guardar y, a continuación, seleccione Iniciar para iniciar el trabajo de Stream Analytics.

    Captura de pantalla que muestra las opciones de Guardar e Iniciar.

  12. Para iniciar el trabajo, especifique:

    • El número de unidades de streaming (SU) con las que se ejecutan los trabajos. Las SU representan la cantidad de procesos y memoria asignadas al trabajo. Se recomienda empezar con tres y, a continuación, ajustar la cantidad según sea necesario.

    • Control de errores de datos de salida: permite especificar el comportamiento que desea cuando se produce un error en la salida de un trabajo en el destino debido a errores de datos. De manera predeterminada, el trabajo reintenta hasta que la operación de escritura se realiza correctamente. También puede optar por quitar estos eventos de salida.

      Captura de pantalla que muestra las opciones de Iniciar trabajo de Stream Analytics, donde puede cambiar el tiempo de salida, establecer el número de unidades de streaming y seleccionar las opciones de control de errores de los datos de salida.

  13. Después de seleccionar Iniciar, el trabajo comienza a ejecutarse en dos minutos. Verá el panel Métricas abierto en el panel inferior. Este panel tarda algún tiempo en actualizarse. Seleccione Actualizar en la esquina superior derecha del panel para actualizar el gráfico. Continúe con el siguiente paso en otra pestaña o ventana del navegador web.

    Captura de pantalla en la que se muestran las métricas del trabajo después de iniciarse.

    También puede ver el trabajo en la sección Procesar datos de la pestaña Trabajos de Stream Analytics. Seleccione Abrir métricas para supervisarlo, detenerlo o reiniciarlo, según sea necesario.

    Captura de pantalla de la pestaña Trabajos de Stream Analytics en la que se ve el estado de los trabajos en ejecución.

  14. Vaya a su centro de eventos en el portal en una pestaña o ventana separada del navegador, y envíe de nuevo los datos de acciones de muestra (como hizo en los requisitos previos). En la página Instancia de centro de eventos, seleccione Generar datos (versión preliminar) en el menú de la izquierda, seleccione Datos de inventario para Conjunto de datos y, a continuación, seleccione Enviar para enviar algunos datos de muestra al centro de eventos. Tardará unos minutos en ver actualizado el panel Métricas.

  15. Debería ver los registros insertados en la base de datos Azure SQL.

    Captura de pantalla que muestra el contenido de la tabla stocks en la base de datos.

Consideraciones al usar la característica de replicación geográfica de Event Hubs

Azure Event Hubs lanzó recientemente la característica Replicación geográfica en versión preliminar pública. Esta característica es diferente de la característica de Recuperación ante desastres geográfica de Azure Event Hubs.

Cuando el tipo de conmutación por error es Forzado y la coherencia de la replicación es Asincrónica, el trabajo de Stream Analytics no garantiza exactamente una salida una vez en una salida de Azure Event Hubs.

Azure Stream Analytics, como productor con un centro de eventos una salida, podría observar el retraso de la marca de agua en el trabajo durante la duración de la conmutación por error y durante la limitación por Event Hubs en caso de que el retraso de replicación entre principal y secundario alcance el retraso máximo configurado.

Azure Stream Analytics, como consumidor con Event Hubs como entrada, puede observar el retraso de la marca de agua en el trabajo durante la duración de la conmutación por error y podría omitir los datos o buscar datos duplicados una vez completada la conmutación por error.

Debido a estas advertencias, se recomienda reiniciar el trabajo de Stream Analytics con la hora de inicio adecuada justo después de que se complete la conmutación por error de Event Hubs. Además, dado que la característica de replicación geográfica de Event Hubs está en versión preliminar pública, no se recomienda usar este patrón para trabajos de producción de Stream Analytics en este momento. El comportamiento actual de Stream Analytics mejorará antes de que la característica de replicación geográfica de Event Hubs esté disponible con carácter general y se pueda usar en trabajos de producción de Stream Analytics.

Pasos siguientes

Obtenga más información sobre Azure Stream Analytics y cómo supervisar el trabajo que ha creado.