使用 Delta Live Tables 流程搭配舊版 Hive 中繼資料儲存區
本文詳述 Delta Live Tables 管線設定和注意事項,這些管線已設定為將數據發佈至舊版 Hive 中繼存放區。 Databricks 建議針對所有新的管線使用 Unity 目錄。 請參閱 使用 Unity 目錄搭配您的 Delta Live Tables 管線。
注意
本文討論管線目前預設發佈模式的功能。 在 2025 年 2 月 5 日之前建立的管線可能會使用舊版發佈模式,並 LIVE
虛擬架構。 請參閱 LIVE 架構 (舊版)。
如何在舊版 Hive 元存儲庫中查詢串流表和具體化視圖
更新完成之後,您可以檢視架構和數據表、查詢數據,或使用下游應用程式中的數據。
發行之後,您可以從任何具有目標架構存取權的環境查詢 Delta Live Tables 數據表。 這包括 Databricks SQL、Notebook 和其他 Delta Live Tables 流程。
重要
當您建立 target
組態時,只會發佈數據表和相關聯的元數據。 檢視不會發佈至中繼存放區。
設定管線以發佈至Hive中繼存放區
建立新的管線時,您可以在 [記憶體] 選項底下指定 Hive 中繼存放區, 發佈至舊版 Hive 中繼存放區。 發行至 Hive 中繼存放區時,您必須指定預設的目標架構。 請參閱 設定 Delta Live Tables 管線。
指定儲存位置
您可以為發佈至 Hive 中繼存放區的管線指定儲存位置。 指定位置的主要動機是控制管線所寫入資料的物件儲存位置。 Databricks 建議一律明確儲存位置,以避免寫入 DBFS 根目錄。
由於 Delta Live Tables 管線的所有資料表、數據、檢查點和元數據都完全受 Delta Live Tables 管理,因此大部分與 Delta Live Tables 數據集的互動都是透過向 Hive 中繼存放區或 Unity 目錄註冊的數據表進行。
雲端儲存設定
若要存取 Azure 記憶體,您必須使用叢集組態中的 spark.conf
設定來設定必要的參數,包括存取令牌。 如需設定 Azure Data Lake Storage Gen2 (ADLS Gen2) 記憶體帳戶存取權的範例,請參閱 在管線中以秘密安全地存取記憶體認證。
不含 Unity Catalog 之工作區的管線原始程式碼筆記本範例
您可以將下列筆記本匯入未啟用 Unity Catalog 的 Azure Databricks 工作區,並使用它們來部署 Delta Live Tables 管線。 使用Hive中繼存放區記憶體選項設定管線時,匯入所選語言的筆記本,並在[原始程式碼] 字段中指定路徑。 請參閱 設定 Delta Live Tables 管線。