Adición de un destino de lago de datos a una secuencia de eventos
En este artículo se muestra cómo agregar un almacén de lago como destino a un Eventstream en la secuencia de eventos de Microsoft Fabric. Para optimizar el rendimiento de streaming y las consultas en tiempo real, considera la posibilidad de transmitir datos a un Eventhouse con agregar el destino de Eventhouse a un flujo de eventos y, después, habilitar Disponibilidad de Eventhouse OneLake.
Nota:
Las funcionalidades mejoradas se habilitan de manera predeterminada al crear flujos de eventos ahora. Si tienes flujos de eventos creados con funcionalidades estándar, esos flujos de eventos seguirán funcionando. Todavía puedes editarlos y usarlos como de costumbre. Se recomienda crear un flujo de eventos para reemplazar los flujos de eventos estándar a fin de que puedas aprovechar las funcionalidades adicionales y las ventajas de los flujos de eventos mejorados.
Importante
Hay una obligatoriedad de esquema para escribir datos en una tabla de destino de almacén de lago. Todas las nuevas escrituras en la tabla deben ser compatibles con el esquema de la tabla de destino en el momento de la escritura, lo que garantiza la calidad de los datos.
Cuando la salida se escribe en una nueva tabla delta, el esquema de tabla se crea en función del primer registro. Todos los registros de los datos de salida se proyectan en el esquema de la tabla existente.
Si los datos entrantes tienen columnas que no están en el esquema de tabla existente, las columnas adicionales no se incluyen en los datos escritos en la tabla. De la misma forma, si a los datos entrantes les faltan columnas que aparecen en el esquema de tabla existente, se escriben en la tabla con el valor establecido en null.
Requisitos previos
- Accede a un área de trabajo en el modo de licencia de capacidad de Fabric (o) el modo de licencia de prueba con los permisos Colaborador o superior.
- Accede al área de trabajo donde se encuentra el almacén de lago con permisos de Colaborador o superiores.
Nota:
El número máximo de orígenes y destinos para una secuencia de eventos es 11.
Agregar un almacén de lago como destino
Para agregar un destino de almacén de lago a una secuencia de eventos predeterminada o derivada, siga estos pasos.
En Modo de edición para la secuencia de eventos, seleccione Agregar destino en la cinta de opciones y seleccione Almacén de lago en la lista desplegable.
Conectar el nodo de almacén de lago al nodo de secuencia o al operador.
En la pantalla de configuración de almacén de lago, complete la siguiente información:
- Especifique el Nombre del destino.
- Seleccione el área de trabajo que contiene el almacén de lago.
- Seleccione un almacén de lago existente del área de trabajo que especificó.
- Seleccione una tabla delta existente o cree una nueva para recibir datos.
- Seleccione el formato de los datos de entrada que se envían al almacén de lago. Los formatos de datos admitidos son JSON, Avro y CSV (con encabezado).
Seleccione Advanced (Avanzadas).
Hay dos modos de ingesta disponibles para un destino de lago de datos. En función de su escenario, configure estos modos para optimizar cómo escribe la secuencia de eventos de Fabric en el almacén de lago.
Mínimo de filas es el número mínimo de filas que el almacén de lago ingiere en un único archivo. El mínimo es 1 fila y el máximo es de 2 millones de filas por archivo. Cuanto menor sea el número mínimo de filas, más archivos creará el almacén de lago durante la ingesta.
Duración máxima es la duración máxima que tarda el almacén de lago en ingerir un único archivo. El mínimo es de 1 minuto y el máximo es de 2 horas. Cuanto mayor sea la duración, más filas se ingerirán en un archivo.
Seleccione Guardar.
Para implementar el destino de almacén de lago recién agregado, seleccione Publicar.
Una vez completados estos pasos, el destino del almacén de lago está disponible para su visualización en la Vista en vivo. En el panel Detalles, puede seleccionar el acceso directo Optimizar tabla en el cuaderno para iniciar un trabajo de Apache Spark en un cuaderno, que consolida los archivos de streaming pequeños dentro de la tabla de almacén de lago de destino.
Contenido relacionado
Para obtener información sobre cómo agregar otros destinos a Eventstream, consulte los siguientes artículos:
Requisitos previos
Para empezar, debe completar los siguientes requisitos previos:
- Accede a un área de trabajo en el modo de licencia de capacidad de Fabric (o) el modo de licencia de prueba con los permisos Colaborador o superior.
- Obtén acceso a un área de trabajo con los permisos Colaborador o superior donde se encuentra su almacén de lago de datos.
Nota:
El número máximo de orígenes y destinos para una secuencia de eventos es 11.
Agregar un almacén de lago como destino
Si tiene un almacén de lago creado en el área de trabajo, siga estos pasos para agregar el almacén de lago a la secuencia de eventos como un destino:
Seleccione Nuevo destino en la cinta de opciones o "+" en el lienzo del editor principal y, a continuación, seleccione Lakehouse. Aparece la pantalla que muestra la configuración del destino de Almacén de lago.
Escriba un nombre para el destino de la secuencia de eventos y rellene la información sobre el almacén de lago.
Almacén de lago: seleccione un almacén de lago existente del área de trabajo que especificó.
Tabla delta: seleccione una tabla delta existente o cree una nueva para recibir datos.
Nota:
Al escribir datos en la tabla del almacén de lago, se aplica el esquema. Significa que todas las nuevas escrituras en una tabla deben ser compatibles con el esquema de la tabla de destino en el momento de la escritura, lo que garantiza la calidad de los datos.
Todos los registros de los datos de salida se proyectan en el esquema de la tabla existente. Al escribir la salida en una nueva tabla delta, el esquema de tabla se crea en función del primer registro. Si los datos entrantes tienen una columna adicional, en comparación con el esquema de tabla existente, se escriben en la tabla sin incluir la columna adicional. Por el contrario, si a los datos entrantes les falta una columna, en comparación con el esquema de tabla existente, se escriben en la tabla con el valor de la columna establecido en null.
Formato de datos de entrada: seleccione el formato de los datos (datos de entrada) que se envían al almacén de lago.
Nota:
Los formatos de datos de eventos de entrada admitidos son JSON, Avro y CSV (con encabezado).
Procesamiento de eventos: puede usar el editor del procesador de eventos para especificar cómo se deben procesar los datos antes de enviarlos al almacén de lago. Seleccione Abrir procesador de eventos para abrir el editor de procesamiento de eventos. Para obtener más información sobre el procesamiento en tiempo real mediante el procesador de eventos, consulte Procesar datos de eventos con el editor del procesador de eventos. Cuando haya terminado con el editor, seleccione Listo para volver a la pantalla de configuración de destino de Almacén de lago.
Hay dos modos de ingesta disponibles para un destino de lago de datos. Seleccione uno de estos modos para optimizar cómo escribe la característica de eventstream de Fabric en el lago de datos en función de su escenario.
Filas por archivo: el número mínimo de filas que Lakehouse ingiere en un único archivo. Cuanto menor sea el número mínimo de filas, más archivos creará Lakehouse durante la ingesta. El mínimo es 1 fila. El máximo es de 2 millones de filas por archivo.
Duración: la duración máxima que tardaría Lakehouse en ingerir un único archivo. Cuanto mayor sea la duración, más filas se ingerirán en un archivo. El mínimo es de 1 minuto y el máximo es de 2 horas.
Seleccione Agregar para agregar el destino del almacén de lago.
Hay un acceso directo de optimización de tablas disponible dentro del destino del lago de datos. Esta solución le facilita el inicio de un trabajo de Spark en un Notebook, que consolida estos pequeños archivos de streaming dentro de la tabla de destino de Lakehouse.
Aparece un destino de almacén de lago en el lienzo con un indicador de estado giratorio. El sistema tarda unos minutos en cambiar el estado a Activo.
Administrar un destino
Editar o quitar: puede editar o eliminar un destino de la secuencia de eventos a través del panel de navegación o del lienzo.
Al seleccionar Editar, el panel de edición se abre a la derecha del editor principal. Puede modificar la configuración como desee, incluida la lógica de transformación de eventos a través del editor del procesador de eventos.
Contenido relacionado
Para obtener información sobre cómo agregar otros destinos a Eventstream, consulte los siguientes artículos: