設定無伺服器 DLT 管線
本文說明無伺服器 DLT 管線的設定。
Databricks 建議使用無伺服器開發新的管線。 某些工作負載可能需要設定傳統計算或使用舊版 Hive 中繼存放區。 請參閱 設定 DLT 管線的計算配置 和 配合使用 DLT 管線與舊版 Hive 中繼資料儲存庫。
注意
- 無伺服器管線一律使用 Unity 目錄。 DLT 的 Unity 目錄處於公開預覽狀態，但有一些限制。 請參閱 使用 Unity 目錄搭配您的 DLT 管線。
- 如需瞭解無伺服器計算的限制，請參閱 。
- 您無法在無伺服器管線的 JSON 組態中，於
clusters物件中手動新增計算設定。 嘗試這樣做會導致錯誤。
- 如果您需要搭配無伺服器 DLT 管線使用 Azure Private Link 連線，請連絡 Databricks 代表。
要求
- 您的工作區必須啟用 Unity 目錄，才能使用無伺服器管線。
- 您的工作區必須位於支援無伺服器的 區域。
無伺服器管線的建議設定
重要
設定無伺服器管線不需要叢集建立許可權。 根據預設，所有工作區使用者都可以使用無伺服器管線。
無伺服器管線會移除大部分的組態選項，因為 Azure Databricks 會管理所有基礎結構。 若要設定無伺服器管線，請執行下列動作：
- 在側邊欄中點擊 DLT。
- 點選 「建立管線」。
- 請提供唯一的管線名稱 。
- 核取 無伺服器旁的方塊。
- （選擇性）使用
檔案選擇器，將筆記本和工作區檔案設定為 原始程式碼。
- 如果您未新增任何原始程式碼，則會為工作流程建立新的記事本。 筆記本會在使用者目錄中的新目錄中建立，而且在您建立管線之後，[管線詳細數據] 窗格中的 [原始程式碼] 欄位中會顯示存取此筆記本的連結。
- 在您建立管線之後，管線詳細數據 面板的 [原始程式碼] 字段下，就會有存取此筆記本的連結。
- 使用 新增原始程式碼 按鈕來添加更多的原始程式碼資產。
- 如果您未新增任何原始程式碼，則會為工作流程建立新的記事本。 筆記本會在使用者目錄中的新目錄中建立，而且在您建立管線之後，[管線詳細數據] 窗格中的 [原始程式碼] 欄位中會顯示存取此筆記本的連結。
- 選取 目錄 來發佈數據。
- 在目錄中選取 架構。 管線中定義的所有串流數據表和具體化檢視都會在此架構中建立。
- 按一下 建立。
這些建議的組態會建立一個新的管線，配置為在 觸發 模式下和 當前 通道中執行。 此組態建議用於許多使用案例，包括開發和測試，而且非常適合應該依排程執行的生產工作負載。 如需關於排程管線的詳細資訊，請參閱 DLT 管線工作以了解工作。
您也可以將使用 Unity 目錄設定的現有管線轉換成使用無伺服器。 請參閱如何將現有的管線轉換成伺服器無伺服的執行模式。
其他設定考慮
下列組態選項也適用於無伺服器管線：
- 在生產環境中執行管線時，您可以選擇使用 連續 管線模式。 請參閱 觸發與連續管線模式。
- 根據成功或失敗條件，新增電子郵件更新通知 。 請參閱 新增管線事件的電子郵件通知。
- 使用 [組態] 字段來設定管線的索引鍵/值組。 這些組態有兩個用途：
- 設定您可以在原始碼中參考的任意參數。 請參閱 搭配 DLT 管線使用參數。
- 設定管線參數和 Spark 組態。 請參閱 DLT 屬性參考。
- 使用 測試 通道，測試管線以應對即將的 DLT 運行時更改並嘗試新功能。
預算原則
重要
此功能目前處於 公開預覽階段。
預算政策允許您的組織在無伺服器使用量上套用自訂標籤，以便於更細緻的計費分配。 選取 [無伺服器] 複選框之後，預算原則 設定隨即出現，您可以在其中選取要套用至管線的原則。 標籤繼承自預算政策，只能由工作區管理員編輯。
注意
在您被指派預算政策之後，現有的管線不會自動與您的政策掛鉤。 如果您想要將原則附加至現有管線，您必須手動更新這些管線。
如需預算原則的詳細資訊，請參閱預算原則 屬性無伺服器使用量。
無伺服器管線功能
除了簡化設定之外，無伺服器管線還有下列功能：
- 具象化檢視的增量重新整理：只要可能，具象化檢視的更新將以增量方式重新整理。 累加式重新整理的結果與完整重新計算的結果相同。 如果無法按步驟累加計算結果，更新將採用完整刷新。 如需具體化檢視 ，請參閱累加式重新整理。
- 串流管線：為了改善串流數據工作負載的使用率、輸送量和延遲，例如數據擷取，微巴切 管線。 換句話說，無伺服器 DLT 管線會同時執行 microbatche，而不是像標準 Spark 結構化串流一樣循序執行 microbatche，而是改善計算資源使用率。 串流管線預設會在無伺服器 DLT 管線中啟用。
- 垂直自動調整：無伺服器 DLT 管線進一步增強了 Databricks 增強自動調整所提供的水平自動調整功能，通過自動分配最具成本效益的實例類型，以執行 DLT 管線，並避免因記憶體不足錯誤而失敗。 請參閱 什麼是垂直自動調整？
什麼是垂直自動調整？
無伺服器 DLT 管線垂直自動調整會自動配置最符合成本效益的實例類型，以執行 DLT 管線更新，而不會因為記憶體不足錯誤而失敗。 當需要較大的虛擬機類型來執行管線更新時，垂直自動調整會擴展，並在它判斷更新可以使用較小的虛擬機類型執行時進行縮減。 垂直自動調整決定是否應該增加或減少驅動節點、工作節點，或同時調整驅動和工作節點。
垂直自動調整適用於所有無伺服器 DLT 管線，包括 Databricks SQL 具體化檢視和串流數據表所使用的管線。
垂直自動調整的運作方式是透過偵測因記憶體不足錯誤而失敗的管線更新來運作。 當偵測到這些失敗時，垂直自動調整會根據從失敗更新收集的記憶體不足數據，配置較大的實例類型。 在生產模式中，會自動啟動使用新計算資源的新更新。 在開發模式中，當您手動啟動新的更新時，會使用新的計算資源。
如果垂直自動調整擴展偵測到已配置實例的記憶體一致使用量過低，它會縮減實例類型規模，以用於下一次管線更新。
將現有的管線轉換為使用無伺服器架構
您可以使用 Unity 目錄設定的現有管線轉換成無伺服器管線。 完成下列步驟：
- 在側邊欄中點擊 DLT。
- 按兩下清單中的所需管線名稱。
- 點選 [設定]。
- 勾選 無伺服器旁的方塊。
- 點選「儲存」，然後開始。
重要
當您啟用無伺服器時，會移除您為管線設定的任何計算設定。 如果您將管線切換回非無伺服器更新，則必須將所需的計算設定重新設定為管線組態。
如何尋找無伺服器管線的 DBU 使用量？
您可以查詢 Azure Databricks 系統數據表的可計費使用量數據表，以尋找無伺服器 DLT 管線的 DBU 使用量。 請參閱 無伺服器 DLT 管線的 DBU 耗用量為何？。