LakeFlow Connect
重要
LakeFlow Connect 處於封閉式公開預覽狀態。 若要參與預覽,請聯絡您的 Databricks 帳戶團隊。
本文提供 Databricks LakeFlow Connect 的概觀,其提供內建連接器來內嵌企業應用程式和資料庫的數據。
什麼是 LakeFlow Connect?
Databricks LakeFlow Connect 提供內建連接器,可從企業應用程式和資料庫擷取。 產生的擷取管線是由 Unity 目錄所控管,並由無伺服器計算和 Delta 實時數據表提供電源。
LakeFlow Connect 利用有效率的累加式讀取和寫入,讓資料擷取更快、可調整且更具成本效益,而您的資料仍保持最新狀態以供下游取用。
SaaS 連接器元件
SaaS 連接器是由下列元件所建立模型:
- 線上:儲存資料庫驗證詳細數據的 Unity 目錄安全性實體物件。
- 擷取管線:將暫存的數據內嵌至 Delta 數據表。 此元件會模型化為無伺服器 DLT 管線。
資料庫連接器元件
資料庫連接器是由下列元件所建立模型:
- 線上:儲存資料庫驗證詳細數據的 Unity 目錄安全性實體物件。
- 網關:從源資料庫擷取數據,並在傳輸期間維護交易的完整性。 針對雲端式資料庫,閘道會設定為具有傳統計算的 DLT 管線。
- 暫存記憶體:Unity 目錄磁碟區,在套用至 Delta 數據表之前,會先暫存來自閘道的數據。 當您部署閘道並存在於您指定的目錄和架構內時,就會建立預備記憶體帳戶。
- 擷取管線:將暫存的數據內嵌至 Delta 數據表。 此元件會模型化為無伺服器 DLT 管線。
LakeFlow Connect 與 Lakehouse 同盟與 Delta 共用
Lakehouse 同盟可讓您查詢外部數據源,而不需要移動您的數據。 差異共用可讓您跨平臺、雲端和區域安全地共享實時數據。 Databricks 建議使用 LakeFlow Connect 進行擷取,因為它可調整以容納高數據量、低延遲查詢和第三方 API 限制。 不過,您可能想要查詢資料而不移動數據。
當您選擇 LakeFlow Connect、Lakehouse 同盟和 Delta 共用時,請選擇 下列案例的 Delta 共用 :
- 限制數據重複。
- 查詢最新的可能數據。
針對下列案例選擇 Lakehouse 同盟 :
- 臨機操作報告或概念證明適用於 ETL 管線。
LakeFlow Connect 與自動載入器
LakeFlow Connect 提供內建連接器,可讓您從企業應用程式和資料庫累加內嵌數據。 自動載入器是雲端物件記憶體的連接器,可讓您在檔案抵達 S3、ADLS 和 GCS 時以累加方式內嵌檔案。 它與結構化串流和 Delta 實時數據表相容,但未與 LakeFlow Connect 整合。
LakeFlow Connect 是否可以回寫至第三方應用程式和資料庫?
否。 如果您對這項功能感興趣,請連絡您的帳戶小組。
LakeFlow Connect 的成本為何?
目前,客戶只會針對從來源載入資料所需的無伺服器差異即時數據表使用量計費(如果連接到企業應用程式,例如 Salesforce)或預備磁碟區(如果連接到資料庫,例如 SQL Server)。 Lakeflow Connect 的最終定價模式可能包含額外費用,並將於未來公佈。
無伺服器差異實時數據表定價會顯示在我們的 定價頁面上。