Configuración de orígenes de datos de streaming
Azure Databricks se puede integrar con los servicios de mensajería de flujo de datos para llevar a cabo tareas de ingesta de datos casi en tiempo real en Databricks Lakehouse. Azure Databricks puede usarse para sincronizar datos enriquecidos y transformados del repositorio del almacén de lago de datos con otros sistemas de streaming.
Structured Streaming proporciona acceso de streaming nativo a formatos de archivo compatibles con Apache Spark, pero Databricks recomienda el cargador automático para la mayoría de las operaciones de flujo estructurado que leen datos del almacenamiento de objetos en la nube. Consulte ¿Qué es Auto Loader?.
El proceso de ingesta de mensajes de streaming en Delta Lake le permite conservar los mensajes indefinidamente, de modo que puede reproducir los flujos de datos sin miedo a perder datos debido a un umbral de retención.
Para más información acerca de las configuraciones específicas para el streaming desde colas de mensajes, consulte: