Konfigurowanie źródeł danych przesyłanych strumieniowo
Usługa Azure Databricks może integrować się z usługami przesyłania komunikatów strumieniowych na potrzeby pozyskiwania danych niemal w czasie rzeczywistym w lakehouse usługi Databricks. Usługa Azure Databricks może również synchronizować wzbogacone i przekształcone dane w usłudze Lakehouse z innymi systemami przesyłania strumieniowego.
Przesyłanie strumieniowe ze strukturą zapewnia natywny dostęp do formatów plików obsługiwanych przez platformę Apache Spark, ale usługa Databricks zaleca automatyczne ładowanie dla większości operacji przesyłania strumieniowego ze strukturą odczytujących dane z magazynu obiektów w chmurze. Zobacz Co to jest moduł automatycznego ładowania?.
Pozyskiwanie komunikatów przesyłanych strumieniowo do usługi Delta Lake umożliwia zachowanie komunikatów na czas nieokreślony, co pozwala na odtwarzanie strumieni danych bez obawy przed utratą danych ze względu na progi przechowywania.
Aby dowiedzieć się więcej o konkretnych konfiguracjach przesyłania strumieniowego z kolejek komunikatów, zobacz: