Lakeflow Connect

Viktigt!

Hanterade SaaS- och databasanslutningar som tillhandahålls av Lakeflow Connect finns i olika versionstillstånd.

Den här artikeln ger en översikt över Databricks Lakeflow Connect, som erbjuder fullt hanterade anslutningar för att importera data från SaaS-applikationer som Salesforce och databaser som SQL Server till ett Azure Databricks lakehouse. Den resulterande inmatningspipelinen styrs av Unity Catalog och drivs av serverlös beräkning och DLT. Lakeflow Connect utnyttjar effektiva inkrementella läsningar och skrivningar för att göra datainmatningen snabbare, skalbar och mer kostnadseffektiv, medan dina data förblir färska för nedströmsförbrukning.

SaaS-anslutningskomponenter

En SaaS-kontakt modellernas av följande komponenter:

• Anslutning: Ett skyddsbart objekt i Unity Catalog som lagrar autentiseringsinformation för databasen.
• Inmatningspipeline: Matar in mellanlagrade data i Delta-tabeller. Den här komponenten modelleras som en serverlös DLT-pipeline.

Komponenter för databasanslutning

En databasanslutning modelleras av följande komponenter:

• Anslutning: Ett skyddsbart objekt i Unity Catalog som lagrar autentiseringsinformation för databasen.
• Gateway: Extraherar data från källdatabasen och upprätthåller integriteten för transaktioner under överföringen. För molnbaserade databaser konfigureras gatewayen som en DLT-pipeline med klassisk beräkning.
• Mellanlagring: En Unity Catalog-volym där data från gatewayen mellanlagras innan de tillämpas på en Delta-tabell. Mellanlagringskontot skapas när du distribuerar gatewayen och finns i katalogen och schemat som du anger.
• Inmatningspipeline: Matar in mellanlagrade data i Delta-tabeller. Den här komponenten modelleras som en serverlös DLT-pipeline.

Lakeflow Connect jämfört med Lakehouse Federation jämfört med Deltadelning

Med Lakehouse Federation kan du fråga externa datakällor utan att flytta dina data. Med Delta Sharing kan du dela livedata på ett säkert sätt mellan plattformarna, molnen och regionerna. Databricks rekommenderar inmatning med Lakeflow Connect eftersom det skalar för att hantera höga datavolymer, frågor med låg svarstid och API-gränser från tredje part. Men du kanske vill köra frågor mot dina data utan att flytta dem.

När du har ett val mellan Lakeflow Connect, Lakehouse Federation och Delta Sharing väljer du Delta Sharing för följande scenarier:

• Begränsa dataduplicering.
• Fråga efter den färskaste möjliga datan.

Välj Lakehouse Federation för följande scenarier:

• Ad hoc-rapportering eller konceptverifieringsarbete på dina ETL-pipelines.

Lakeflow Connect vs. Auto Loader

Lakeflow Connect tillhandahåller inbyggda anslutningsappar som gör att du kan mata in data inkrementellt från företagsprogram och databaser. Auto Loader är en anslutning för molnobjektlagring som låter dig importera filer gradvis när de anländer till S3, ADLS och GCS. Den är kompatibel med Structured Streaming och DLT men integreras inte med Lakeflow Connect.

Kan Lakeflow Connect skriva tillbaka till appar och databaser från tredje part?

Nej. Om du är intresserad av den här funktionen kontaktar du ditt kontoteam.

Vad kostar Lakeflow Connect?

För tillfället debiteras kunder endast för den serverlösa DLT-användning som behövs för att läsa in data från källan (om de ansluter till ett företagsprogram, till exempel Salesforce) eller från mellanlagringsvolymen (om de ansluter till en databas, till exempel SQL Server). Den slutliga prismodellen för Lakeflow Connect kan innehålla ytterligare avgifter och kommer att tillkännages i framtiden.

Serverlösa DLT-priser visas på vår prissida.