共用方式為


搭配舊版Hive中繼存放區使用 Delta Live Tables 管線

本文詳述 Delta Live Tables 管線設定和注意事項,這些管線已設定為將數據發佈至舊版 Hive 中繼存放區。 Databricks 建議針對所有新的管線使用 Unity 目錄。 請參閱 搭配您的 Delta Live Tables 管線使用 Unity 目錄。

將管線數據集發佈至舊版 Hive 中繼存放區

雖然是選用的,但您應該指定目標來發佈管線所建立的資料表,只要您超越新管線的開發與測試即可。 將管線發佈至目標可讓資料集在 Azure Databricks 環境中其他地方查詢。

您可以將數據集發佈至 Hive中繼存放區,讓管線的輸出數據可供探索並可供查詢。 若要將數據集發佈至中繼存放區,請在建立管線時,於 [目標 ] 欄位中輸入架構名稱。 您也可以將目標資料庫新增至現有的管線。

根據預設,在 Delta Live Tables 中建立的所有數據表和檢視都是管線的本機。 您必須將數據表發佈至目標架構,才能在宣告數據表的管線外部查詢或使用 Delta Live Tables 數據集。

若要將管線的資料表發佈至 Unity 目錄,請參閱搭配差異即時資料表管線使用 Unity 目錄

如何將 Delta Live Tables 數據集發佈至舊版 Hive 中繼存放區

您可以使用管線設定和建立管線 UI 中的 [目標架構] 字段,為 Delta Live Tables 管線中的所有數據表宣告目標架構

您也可以藉由設定 target 值,在 JSON 組態中指定架構。

您必須執行管線的更新,才能將結果發佈至目標架構。

您可以使用這項功能搭配多個環境組態,根據環境發佈至不同的架構。 例如,您可以發佈至 dev 用於開發的架構,以及 prod 生產數據的架構。

如何在舊版Hive中繼存放區中查詢串流數據表和具體化檢視

更新完成之後,您可以檢視架構和數據表、查詢數據,或使用下游應用程式中的數據。

發行之後,您可以從任何具有目標架構存取權的環境查詢 Delta Live Tables 數據表。 這包括 Databricks SQL、筆記本和其他 Delta 實時數據表管線。

重要

當您建立組 target 態時,只會發佈數據表和相關聯的元數據。 檢視不會發佈至中繼存放區。

指定儲存位置

您可以為發佈至 Hive 中繼存放區的管線指定儲存位置。 指定位置的主要動機是控制管線所寫入資料的物件儲存位置。

由於 Delta Live Tables 管線的所有資料表、資料、檢查點和中繼資料都完全受 Delta Live Tables 管理,因此大部分與 Delta Live Tables 資料集的互動都是透過向 Hive 中繼存放區或 Unity 目錄註冊的資料表進行。

雲端儲存設定

若要存取 Azure 儲存體,您必須使用 spark.conf 叢集設定中的設定來設定必要的參數,包括存取令牌。 如需設定 Azure Data Lake Storage Gen2 (ADLS Gen2) 儲存體帳戶存取權的範例,請參閱使用管線中的祕密安全地存取儲存體認證

沒有 Unity 目錄之工作區的管線原始程式碼筆記本範例

您可以將下列筆記本匯入 Azure Databricks 工作區,而未啟用 Unity 目錄,並使用它們來部署 Delta Live Tables 管線。 使用Hive中繼存放區記憶體選項設定管線時,匯入所選語言的筆記本,並在[原始程式碼] 字段中指定路徑。 請參閱 設定 Delta Live Tables 管線

開始使用 Delta Live Tables Python 筆記本

取得筆記本

開始使用 Delta Live Tables SQL 筆記本

取得筆記本