LakeFlow Connect

Belangrijk

LakeFlow Connect bevindt zich in beperkte openbare preview. Neem contact op met uw Databricks-accountteam om deel te nemen aan de preview.

Dit artikel bevat een overzicht van Databricks LakeFlow Connect, dat ingebouwde connectors biedt voor het opnemen van gegevens uit bedrijfstoepassingen en -databases.

Wat is LakeFlow Connect?

Databricks LakeFlow Connect biedt ingebouwde connectors voor opname vanuit bedrijfstoepassingen en -databases. De resulterende verwerkingspijplijn wordt beheerd door Unity Catalog en wordt mogelijk gemaakt door serverloze computing en Delta Live Tables.

LakeFlow Connect maakt gebruik van efficiënte incrementele lees- en schrijfbewerkingen om gegevensopname sneller, schaalbaar en rendabeler te maken, terwijl uw gegevens vers blijven voor downstreamverbruik.

Onderdelen van SaaS-connector

Een SaaS-connector wordt gemodelleerd door de volgende onderdelen:

• Connection: een beveiligbaar Unity Catalog-object waarin verificatiegegevens voor de database worden opgeslagen.
• pijplijn voor opname: neemt de gefaseerde gegevens op in Delta-tabellen. Dit onderdeel is gemodelleerd als een serverloze DLT-pijplijn.

Onderdelen van databaseconnector

Een databaseconnector wordt gemodelleerd door de volgende onderdelen:

• Connection: een beveiligbaar Unity Catalog-object waarin verificatiegegevens voor de database worden opgeslagen.
• Gateway: extraheert gegevens uit de brondatabase en behoudt de integriteit van transacties tijdens de overdracht. Voor clouddatabases wordt de gateway geconfigureerd als een DLT-pijplijn met klassieke rekenkracht.
• faseringsopslag: een Unity Catalog-volume waarin gegevens van de gateway worden gefaseerd voordat ze worden toegepast op een Delta-tabel. Het faseringsopslagaccount wordt gemaakt wanneer u de gateway implementeert en bestaat in de catalogus en het schema dat u opgeeft.
• pijplijn voor opname: neemt de gefaseerde gegevens op in Delta-tabellen. Dit onderdeel is gemodelleerd als een serverloze DLT-pijplijn.

LakeFlow Connect versus Lakehouse Federation versus Delta Sharing

Met Lakehouse Federation kunt u externe gegevensbronnen opvragen zonder uw gegevens te verplaatsen. Met Delta Sharing kunt u livegegevens veilig delen tussen platforms, clouds en regio's. Databricks raadt aan om gegevensopname te gebruiken met LakeFlow Connect, omdat deze wordt geschaald voor hoge gegevensvolumes, query's met lage latentie en API-limieten van derden. Mogelijk wilt u echter query's uitvoeren op uw gegevens zonder deze te verplaatsen.

Als u een keuze hebt tussen LakeFlow Connect, Lakehouse Federation en Delta Sharing, kiest u Delta Sharing voor de volgende scenario's:

• Het beperken van gegevensduplicatie.
• Query's uitvoeren op de meest recente gegevens.

Kies Lakehouse Federation voor de volgende scenario's:

• Ad-hocrapportage of proof-of-concept-werk aan uw ETL-pijplijnen.

LakeFlow Connect versus Auto Loader

LakeFlow Connect biedt ingebouwde connectors waarmee u incrementeel gegevens uit bedrijfstoepassingen en -databases kunt opnemen. Auto Loader is een connector voor cloudobjectopslag waarmee u bestanden incrementeel kunt opnemen wanneer ze binnenkomen in S3, ADLS en GCS. Het is compatibel met Structured Streaming en Delta Live Tables, maar kan niet worden geïntegreerd met LakeFlow Connect.

Kan LakeFlow Connect terugschrijven naar apps en databases van derden?

Nee Als u geïnteresseerd bent in deze functionaliteit, neemt u contact op met uw accountteam.

Wat zijn de kosten voor LakeFlow Connect?

Momenteel worden klanten alleen gefactureerd voor het serverloze Delta Live Tables-gebruik dat nodig is om gegevens uit de bron te laden (als er verbinding wordt gemaakt met een bedrijfstoepassing, zoals Salesforce) of vanaf het faseringsvolume (als er verbinding wordt gemaakt met een database, zoals SQL Server). Het uiteindelijke prijsmodel voor Lakeflow Connect kan extra kosten bevatten en wordt in de toekomst aangekondigd.

Prijzen voor serverloze Delta Live Tables zijn zichtbaar op onze pagina met prijzen.