Sdílet prostřednictvím

LakeFlow Connect

  • Článek

Důležité

LakeFlow Connect je ve verzi Public Preview. Pokud se chcete zúčastnit verze Preview, obraťte se na tým účtu Databricks.

Tento článek obsahuje přehled služby Databricks LakeFlow Connect, který nabízí integrované konektory pro ingestování dat z podnikových aplikací a databází.

Co je LakeFlow Connect?

Databricks LakeFlow Connect nabízí integrované konektory pro příjem dat z podnikových aplikací a databází. Výsledný kanál příjmu dat se řídí katalogem Unity a využívá bezserverové výpočetní funkce a dynamické tabulky Delta.

LakeFlow Connect využívá efektivní přírůstkové čtení a zápisy k rychlejšímu, škálovatelnému a nákladově efektivnějšímu příjmu dat, zatímco data zůstávají čerstvá pro příjem dat.

Komponenty konektoru SaaS

Konektor SaaS je modelován následujícími komponentami:

  • Připojení: Zabezpečitelný objekt katalogu Unity, který ukládá podrobnosti ověřování pro databázi.
  • Kanál příjmu dat: Ingestuje fázovaná data do tabulek Delta. Tato komponenta je modelována jako bezserverový kanál DLT.

Diagram komponent konektoru SaaS

Komponenty konektoru databáze

Konektor databáze je modelován následujícími komponentami:

  • Připojení: Zabezpečitelný objekt katalogu Unity, který ukládá podrobnosti ověřování pro databázi.
  • Brána: Extrahuje data ze zdrojové databáze a udržuje integritu transakcí během přenosu. U cloudových databází je brána nakonfigurovaná jako kanál DLT s klasickými výpočetními prostředky.
  • Přípravné úložiště: Svazek katalogu Unity, ve kterém se data z brány připraví před tím, než se použijí na tabulku Delta. Pracovní účet úložiště se vytvoří při nasazení brány a existuje v katalogu a schématu, které zadáte.
  • Kanál příjmu dat: Ingestuje fázovaná data do tabulek Delta. Tato komponenta je modelována jako bezserverový kanál DLT.

Diagram komponent konektoru databáze

LakeFlow Connect vs. Lakehouse Federation vs. Rozdílové sdílení

Federace Lakehouse umožňuje dotazovat se na externí zdroje dat bez přesunu dat. Rozdílové sdílení umožňuje bezpečně sdílet živá data napříč platformami, cloudy a oblastmi. Databricks doporučuje příjem dat pomocí lakeflow Connect, protože se škáluje tak, aby vyhovoval vysokým objemům dat, dotazům s nízkou latencí a omezením rozhraní API třetích stran. Můžete se ale chtít dotazovat na data, aniž byste je přesunuli.

Pokud máte na výběr mezi lakeflow connect, federací Lakehouse a rozdílovým sdílením, zvolte Pro následující scénáře možnost Sdílení delta :

  • Omezení duplikace dat
  • Dotazování na nejnovější možná data

Pro následující scénáře zvolte Federaci Lakehouse:

  • Ad hoc generování sestav nebo testování konceptu fungují na kanálech ETL.

LakeFlow Connect vs. automatický zavaděč

LakeFlow Connect poskytuje integrované konektory, které umožňují přírůstkově ingestovat data z podnikových aplikací a databází. Auto Loader je konektor pro cloudové úložiště objektů, který umožňuje přírůstkově ingestovat soubory při jejich doručení do S3, ADLS a GCS. Je kompatibilní se strukturovaným streamováním a rozdílovými živými tabulkami, ale neintegruje se službou LakeFlow Connect.

Může LakeFlow Connect zapisovat zpět do aplikací a databází třetích stran?

Ne. Pokud vás tato funkce zajímá, obraťte se na svůj tým účtů.

Jaké jsou náklady na LakeFlow Connect?

Prozatím se zákazníkům účtují jenom využití bezserverových dynamických tabulek Delta, které je potřeba k načtení dat ze zdroje (pokud se připojujete k podnikové aplikaci, jako je Salesforce), nebo z přípravného svazku (pokud se připojujete k databázi, jako je SQL Server). Konečný cenový model služby Lakeflow Connect může zahrnovat další poplatky a bude oznámen v budoucnu.

Ceny bezserverových živých tabulek Delta jsou viditelné na naší stránce s cenami.