Freigeben über

LakeFlow Connect

  • Artikel

Wichtig

LakeFlow Connect befindet sich in der geschlossenen öffentlichen Vorschau. Um an der Vorschau teilzunehmen, wenden Sie sich an Ihr Databricks-Kundenteam.

Dieser Artikel enthält eine Übersicht über Databricks LakeFlow Connect, das integrierte Connectors zum Aufnehmen von Daten aus Unternehmensanwendungen und Datenbanken bietet.

Was ist LakeFlow Connect?

Databricks LakeFlow Connect bietet integrierte Connectors zum Aufnehmen von Daten aus Unternehmensanwendungen und Datenbanken. Die resultierende Erfassungspipeline wird über Unity Catalog gesteuert und von serverlosem Computing sowie Delta Live Tables (DLT) unterstützt.

LakeFlow Connect nutzt effiziente inkrementelle Lese- und Schreibvorgänge, um die Erfassung von Daten schneller, skalierbarer und kosteneffizienter zu gestalten, während Ihre Daten für den nachgeschalteten Verbrauch frisch bleiben.

SaaS-Konnektorkomponenten

Ein SaaS-Konnektor wird mit den folgenden Komponenten modelliert:

  • Verbindung: Ein sicherungsfähiges Unity Catalog-Objekt, das Authentifizierungsdetails für die Datenbank speichert
  • Erfassungspipeline: Erfasst die bereitgestellten Daten in Delta-Tabellen Diese Komponente wird als serverlose DLT-Pipeline modelliert.

SaaS-Konnektorkomponentendiagramm

Komponenten des Datenbankconnectors

Ein Datenbankconnector wird mit den folgenden Komponenten modelliert:

  • Verbindung: Ein sicherungsfähiges Unity Catalog-Objekt, das Authentifizierungsdetails für die Datenbank speichert
  • Gateway: Extrahiert Daten aus der Quelldatenbank und behält die Integrität von Transaktionen während der Übertragung bei Für cloudbasierte Datenbanken wird das Gateway als DLT-Pipeline mit klassischer Berechnung konfiguriert.
  • Stagingspeicher: Ein Unity Catalog-Volume, in dem Daten aus dem Gateway bereitgestellt werden, bevor sie auf eine Delta-Tabelle angewendet werden Das Stagingspeicherkonto wird erstellt, wenn Sie das Gateway bereitstellen, und befindet sich innerhalb des von Ihnen angegebenen Katalogs und Schemas.
  • Erfassungspipeline: Erfasst die bereitgestellten Daten in Delta-Tabellen Diese Komponente wird als serverlose DLT-Pipeline modelliert.

Komponentendiagramm des Datenbankconnectors

LakeFlow Connect im Vergleich zu Lakehouse Federation im Vergleich zu Delta Sharing

Lakehouse Federation ermöglicht es Ihnen, externe Datenquellen abzufragen, ohne Ihre Daten zu verschieben. Mit der Delta-Freigabe können Sie Livedaten über Plattformen, Clouds und Regionen hinweg sicher freigeben. Databricks empfiehlt die Datenerfassung mithilfe von LakeFlow Connect, da Skalierung für hohe Datenvolumes, Abfragen mit geringer Latenz und API-Grenzwerte von Drittanbietern durchgeführt wird. Möglicherweise sollten Sie Ihre Daten abfragen, ohne sie zu verschieben.

Wenn Sie eine Wahl zwischen LakeFlow Connect, Lakehouse Federation und Delta Sharing haben, nutzen Sie Delta Sharing für die folgenden Szenarios:

  • Einschränken der Datenduplizierung.
  • Abfragen der neuesten möglichen Daten.

Verwenden Sie Lakehouse Federation für die folgenden Szenarios:

  • Ad-hoc-Berichterstellung oder Proof of Concept-Arbeit an Ihren ETL-Pipelines.

LakeFlow Connect im Vergleich zu Auto Loader

LakeFlow Connect bietet integrierte Connectors, mit denen Sie Daten aus Unternehmensanwendungen und Datenbanken inkrementell erfassen können. Auto Loader ist ein Connector für Cloudobjektspeicher, mit dem Sie Dateien inkrementell erfassen können, sobald sie in S3, ADLS und GCS eingehen. Auto Loader ist mit strukturiertem Streaming und Delta Live-Tabellen kompatibel, aber nicht in LakeFlow Connect integriert.

Kann LakeFlow Connect auf Apps und Datenbanken von Drittanbietern zurückschreiben?

Nein Wenn Sie an dieser Funktionalität interessiert sind, wenden Sie sich an Ihr Kontoteam.

Was kostet LakeFlow Connect?

Derzeit wird Kunden nur die Verwendung serverloser Delta Live Tables in Rechnung gestellt, die zum Laden von Daten aus der Quelle (wenn eine Verbindung mit einer Unternehmensanwendung wie Salesforce hergestellt wird) oder vom Stagingvolume (wenn eine Verbindung mit einer Datenbank hergestellt wird, z. B. SQL Server) benötigt wird. Das endgültige Preismodell für Lakeflow Connect kann zusätzliche Gebühren enthalten und wird noch angekündigt.

Die Preise für serverlose Delta Live Tables sind auf unserer Preisseite einsehbar.