Configurar fontes de dados de streaming
O Azure Databricks pode se integrar aos serviços de mensagens de fluxo para ingestão de dados quase em tempo real no lakehouse do Databricks. O Azure Databricks também pode sincronizar dados enriquecidos e transformados no lakehouse com outros sistemas de streaming.
O Streaming Estruturado fornece acesso de streaming nativo a formatos de arquivo compatíveis com o Apache Spark, mas o Databricks recomenda o Carregador Automático para a maioria das operações de Streaming Estruturado que leem dados do armazenamento de objetos de nuvem. Confira O que é o Carregador Automático?.
A ingestão de mensagens de streaming no Delta Lake permite que você retenha mensagens indefinidamente, permitindo que você reproduza fluxos de dados sem medo de perder dados devido a limites de retenção.
Para saber mais sobre configurações específicas para streaming de filas de mensagens, confira: