共用方式為

LakeFlow Connect

  • 發行項

重要

LakeFlow Connect 處於封閉式公開預覽狀態。 若要參與預覽，請聯絡您的 Databricks 帳戶團隊。

本文提供 Databricks LakeFlow Connect 的概觀，其提供內建連接器來內嵌企業應用程式和資料庫的數據。

什麼是 LakeFlow Connect？

Databricks LakeFlow Connect 提供內建連接器，可從企業應用程式和資料庫擷取。 產生的資料引入管道由 Unity Catalog 控管，並由無伺服器計算和 Delta Live Tables 驅動。

LakeFlow Connect 利用有效率的累加式讀取和寫入，讓資料擷取更快、可調整且更具成本效益，而您的資料仍保持最新狀態以供下游取用。

SaaS 連接器元件

SaaS 連接器是由下列元件所建立模型：

  • 連線：儲存資料庫認證詳細信息的 Unity Catalog 可保護物件。
  • 擷取管線：將預處理的數據匯入到 Delta 表。 此元件會模型化為無伺服器 DLT 管線。

SaaS 連接器元件圖表

資料庫連接器元件

資料庫連接器是由下列元件所建立模型：

  • 連線：儲存資料庫認證詳細信息的 Unity Catalog 可保護物件。
  • 網關：從源資料庫擷取數據，並在傳輸期間維護交易的完整性。 針對雲端式資料庫，閘道會設定為具有傳統計算的 DLT 管線。
  • 暫存記憶體：Unity 目錄磁碟區，其中來自閘道的數據會在套用至 Delta 資料表之前暫存。 當您部署閘道時，會創建暫存儲存帳戶，它存在於您指定的目錄和架構內。
  • 擷取管線：將預處理的數據匯入到 Delta 表。 此元件會模型化為無伺服器 DLT 管線。

資料庫連接器元件圖表

LakeFlow Connect 與 Lakehouse 同盟與 Delta 共用

Lakehouse 同盟可讓您查詢外部數據源，而不需要移動您的數據。 差異共用可讓您跨平臺、雲端和區域安全地共享實時數據。 Databricks 建議使用 LakeFlow Connect 進行擷取，因為它可調整以容納高數據量、低延遲查詢和第三方 API 限制。 不過，您可能想要查詢資料而不移動數據。

當您選擇 LakeFlow Connect、Lakehouse 同盟和 Delta 共用時，請選擇 下列案例的 Delta 共用 ：

  • 限制數據重複。
  • 查詢最新的可能數據。

針對下列案例選擇 Lakehouse 同盟 ：

  • 臨機操作報告或概念證明適用於 ETL 管線。

LakeFlow Connect 與自動載入器

LakeFlow Connect 提供內建連接器，可讓您從企業應用程式和資料庫累加內嵌數據。 自動載入器是雲端物件記憶體的連接器，可讓您在檔案抵達 S3、ADLS 和 GCS 時以累加方式內嵌檔案。 它與結構化串流和 Delta 實時數據表相容，但未與 LakeFlow Connect 整合。

LakeFlow Connect 是否可以回寫至第三方應用程式和資料庫？

否。 如果您對這項功能感興趣，請連絡您的帳戶小組。

LakeFlow Connect 的成本為何？

目前，客戶僅需針對使用無伺服器的 Delta Live Tables 載入資料時的用量支付費用，這包括從企業應用程式（如 Salesforce）或從暫存區（如 SQL Server 資料庫）取得資料時所需的消耗。 Lakeflow Connect 的最終定價模式可能包含額外費用，並將於未來公佈。

無伺服器的 Delta 即時資料表定價顯示在我們的 定價頁面上，。