Sdílet prostřednictvím

LakeFlow Connect

  • Článek

Důležité

LakeFlow Connect je ve verzi Public Preview. Pokud se chcete zúčastnit verze Preview, obraťte se na tým účtu Databricks.

Tento článek obsahuje přehled služby Databricks LakeFlow Connect, který nabízí integrované konektory pro ingestování dat z podnikových aplikací a databází.

Co je LakeFlow Connect?

Databricks LakeFlow Connect nabízí integrované konektory pro příjem dat z podnikových aplikací a databází. Výsledný kanál příjmu dat se řídí Catalog Unity a využívá bezserverové výpočetní prostředky a TablesDelta Live .

LakeFlow Connect využívá efektivní přírůstkové čtení a zápisy k rychlejšímu, škálovatelnému a nákladově efektivnějšímu příjmu dat, zatímco data zůstávají čerstvá pro příjem dat.

Komponenty konektoru SaaS

Konektor SaaS je modelován následujícími komponentami:

  • připojení: Objekt Unity Catalog, který lze zabezpečit a který ukládá podrobnosti autentizace pro databázi.
  • Potrubí pro příjem dat: Ingestuje fázovaná data do Delta tables. Tato komponenta je modelována jako bezserverový kanál DLT.

Diagram komponent konektoru SaaS

Komponenty konektoru databáze

Konektor databáze je modelován následujícími komponentami:

  • připojení: Zabezpečitelný objekt Unity Catalog, který ukládá podrobnosti ověřování pro databázi.
  • Brána: Extrahuje data ze zdrojové databáze a udržuje integritu transakcí během přenosu. U cloudových databází je brána nakonfigurovaná jako kanál DLT s klasickými výpočetními prostředky.
  • přípravného úložiště: Před nasazením na rozdílovou tablese připraví svazek Unity Catalog svazek where z brány. Dočasný účet úložiště je vytvořen při nasazení brány a existuje v rámci catalog a schema, které zadáte.
  • Kanál příjmu dat: Přijímá fázovaná data do Delta Lake tables. Tato komponenta je modelována jako bezserverový kanál DLT.

Diagram komponent konektoru databáze

LakeFlow Connect vs. Lakehouse Federation vs. Rozdílové sdílení

Federace Lakehouse umožňuje dotazovat se na externí zdroje dat bez přesunu dat. Rozdílové sdílení umožňuje bezpečně sdílet živá data napříč platformami, cloudy a oblastmi. Databricks doporučuje ingestování dat pomocí LakeFlow Connect, protože se škáluje tak, aby vyhovovala vysokým volumesdat, dotazům s nízkou latencí a omezením rozhraní API třetích stran. Můžete se ale chtít dotazovat na data, aniž byste je přesunuli.

Pokud máte na výběr mezi lakeflow connect, federací Lakehouse a rozdílovým sdílením, zvolte Pro následující scénáře možnost Sdílení delta :

  • Omezení duplikace dat
  • Dotazování na nejnovější možná data

Pro následující scénáře zvolte Federaci Lakehouse:

  • Ad hoc generování sestav nebo testování konceptu fungují na kanálech ETL.

LakeFlow Connect vs. automatický zavaděč

LakeFlow Connect poskytuje integrované konektory, které umožňují přírůstkově ingestovat data z podnikových aplikací a databází. Auto Loader je konektor pro cloudové úložiště objektů, který umožňuje přírůstkově ingestovat soubory při jejich doručení do S3, ADLS a GCS. Je kompatibilní se strukturovaným streamováním a službou Delta Live Tables, ale neintegruje se službou LakeFlow Connect.

Může LakeFlow Connect zapisovat zpět do aplikací a databází třetích stran?

Ne. Pokud vás tato funkce zajímá, obraťte se na svůj tým účtů.

Jaké jsou náklady na LakeFlow Connect?

Prozatím se zákazníkům účtuje pouze využívání bezserverové služby Delta Live Tables potřebné k načtení dat ze zdroje (pokud je připojení k podnikové aplikaci, jako je Salesforce) nebo z dočasného úložiště (pokud je připojení k databázi, jako je SQL Server). Konečný cenový model služby Lakeflow Connect může zahrnovat další poplatky a bude oznámen v budoucnu.

Ceny serverless Delta Live Tables jsou viditelné na našem ceníku .