LakeFlow Connect

Ważne

Program LakeFlow Connect jest w publicznej wersji zapoznawczej. Aby wziąć udział w wersji zapoznawczej, skontaktuj się z zespołem ds. kont usługi Databricks.

Ten artykuł zawiera omówienie usługi Databricks LakeFlow Connect, która oferuje wbudowane łączniki do pozyskiwania danych z aplikacji i baz danych dla przedsiębiorstw.

Co to jest program LakeFlow Connect?

Usługa Databricks LakeFlow Connect oferuje wbudowane łączniki do pozyskiwania z aplikacji i baz danych dla przedsiębiorstw. Wynikowy potok pozyskiwania jest zarządzany przez wykaz aparatu Unity i jest obsługiwany przez bezserwerowe obliczenia i tabele delta Live Tables.

Usługa LakeFlow Connect wykorzystuje wydajne operacje odczytu przyrostowego i zapisu w celu szybszego, skalowalnego i bardziej ekonomicznego pozyskiwania danych, podczas gdy dane pozostają świeże do użycia podrzędnego.

Składniki łącznika SaaS

Łącznik SaaS jest modelowany przez następujące składniki:

• Połączenie: zabezpieczany obiekt wykazu aparatu Unity, który przechowuje szczegóły uwierzytelniania bazy danych.
• Potok pozyskiwania: umożliwia pozyskiwanie przygotowanych danych do tabel delty. Ten składnik jest modelowany jako bezserwerowy potok DLT.

Składniki łącznika bazy danych

Łącznik bazy danych jest modelowany przez następujące składniki:

• Połączenie: zabezpieczany obiekt wykazu aparatu Unity, który przechowuje szczegóły uwierzytelniania bazy danych.
• Brama: wyodrębnia dane ze źródłowej bazy danych i utrzymuje integralność transakcji podczas transferu. W przypadku baz danych opartych na chmurze brama jest skonfigurowana jako potok DLT z klasycznymi obliczeniami.
• Magazyn przejściowy: wolumin wykazu aparatu Unity, w którym dane z bramy są przygotowane przed zastosowaniem do tabeli delty. Tymczasowe konto magazynu jest tworzone podczas wdrażania bramy i istnieje w określonym wykazie i schemacie.
• Potok pozyskiwania: umożliwia pozyskiwanie przygotowanych danych do tabel delty. Ten składnik jest modelowany jako bezserwerowy potok DLT.

LakeFlow Connect vs. Lakehouse Federation vs. Delta Sharing

Federacja lakehouse umożliwia wykonywanie zapytań o zewnętrzne źródła danych bez przenoszenia danych. Udostępnianie różnicowe umożliwia bezpieczne udostępnianie danych na żywo między platformami, chmurami i regionami. Usługa Databricks zaleca pozyskiwanie przy użyciu usługi LakeFlow Connect, ponieważ jest skalowana w celu obsługi dużych ilości danych, zapytań o małe opóźnienia i limitów interfejsu API innych firm. Jednak możesz chcieć wykonać zapytanie dotyczące danych bez ich przenoszenia.

Jeśli masz wybór między usługą LakeFlow Connect, federacją lakehouse i udostępnianiem różnicowym, wybierz opcję Udostępnianie różnicowe w następujących scenariuszach:

• Ograniczanie duplikowania danych.
• Wykonywanie zapytań dotyczących najświeższych możliwych danych.

Wybierz federację lakehouse w następujących scenariuszach:

• Raportowanie ad hoc lub weryfikacja koncepcji działają na potokach ETL.

Program LakeFlow Connect a moduł automatycznego ładowania

Program LakeFlow Connect udostępnia wbudowane łączniki, które umożliwiają przyrostowe pozyskiwanie danych z aplikacji i baz danych dla przedsiębiorstw. Auto loader to łącznik magazynu obiektów w chmurze, który umożliwia przyrostowe pozyskiwanie plików w miarę ich przybycia do usług S3, ADLS i GCS. Jest ona zgodna ze strukturą przesyłania strumieniowego i tabelą delta live, ale nie jest zintegrowana z usługą LakeFlow Connect.

Czy usługa LakeFlow Connect może zapisywać z powrotem do aplikacji i baz danych innych firm?

L.p. Jeśli interesuje Cię ta funkcja, skontaktuj się z zespołem ds. kont.

Jaki jest koszt programu LakeFlow Connect?

Na razie klienci są rozliczani tylko za użycie bezserwerowych tabel na żywo różnicowych wymaganych do załadowania danych ze źródła (w przypadku nawiązywania połączenia z aplikacją dla przedsiębiorstw, takiej jak Salesforce) lub z woluminu przejściowego (w przypadku nawiązywania połączenia z bazą danych, na przykład z programem SQL Server). Ostateczny model cen dla usługi Lakeflow Connect może obejmować dodatkowe opłaty i zostanie ogłoszony w przyszłości.

Cennik tabel delta live tables bezserwerowych jest widoczny na naszej stronie cennika.