設定無伺服器差異即時數據表管線
本文說明無伺服器 Delta Live Tables 管線的設定。
Databricks 建議使用無伺服器開發新的管線。 某些工作負載可能需要設定傳統計算或使用舊版 Hive 中繼存放區。 請參閱 設定 Delta Live Tables 管線 的計算，以及 搭配舊版 Hive 中繼存放區使用 Delta Live Tables 管線。
注意
無伺服器管線一律使用 Unity 目錄。 Delta Live Tables 的 Unity 目錄處於公開預覽狀態，並有一些限制。 請參閱 搭配您的 Delta Live Tables 管線使用 Unity 目錄。
您無法在無伺服器管線的 JSON 組態中手動新增計算設定
clusters。 嘗試這麼做會導致錯誤。如需無伺服器 DLT 管線資格和啟用的相關資訊，請參閱啟用無伺服器計算 (機器翻譯)。
如果您需要搭配無伺服器 DLT 管線使用 Azure Private Link 連線，請連絡 Databricks 代表。
需求
您的工作區必須啟用 Unity 目錄，才能使用無伺服器管線。
您的工作區必須位於 已啟用無伺服器的區域。
無伺服器管線的建議設定
重要
設定無伺服器管線不需要叢集建立許可權。 根據預設，所有工作區使用者都可以使用無伺服器管線。
無伺服器管線會移除大部分的組態選項，因為 Azure Databricks 會管理所有基礎結構。 若要設定無伺服器管線，請執行下列動作：
- 按兩下提要欄中的 [ 差異實時數據表 ]。
- 按兩下 [ 建立管線]。
- 提供唯 一的管線名稱。
- 核取 [無伺服器] 旁的方塊。
- （選擇性）使用檔案
選擇器將筆記本和工作區檔案設定為 原始程式碼。
- 如果您未新增任何原始程式碼，則會為管線建立新的筆記本。 筆記本會在使用者目錄中的新目錄中建立，而且在您建立管線之後，[管線詳細數據] 窗格中的 [原始程式碼] 字段會顯示存取此筆記本的連結。
- 建立管線之後，[管線詳細數據] 面板中的 [原始程式碼] 字段下會出現存取此筆記本的連結。
- 使用 [ 新增原始碼] 按鈕來新增其他原始程式碼資產。
- 如果您未新增任何原始程式碼，則會為管線建立新的筆記本。 筆記本會在使用者目錄中的新目錄中建立，而且在您建立管線之後，[管線詳細數據] 窗格中的 [原始程式碼] 字段會顯示存取此筆記本的連結。
- 選取目錄以發佈數據。
- 選取目錄中的架構。 管線中定義的所有串流數據表和具體化檢視都會在此架構中建立。
- 按一下 [建立]。
這些建議的組態會建立設定為以 觸發 模式和 目前 通道執行的新管線。 此組態建議用於許多使用案例，包括開發和測試，而且非常適合應該依排程執行的生產工作負載。 如需排程管線的詳細資訊，請參閱 作業的 Delta Live Tables 管線工作。
您也可以將使用 Unity 目錄設定的現有管線轉換成使用無伺服器。 請參閱 將現有的管線轉換成無伺服器。
其他設定考慮
下列組態選項也適用於無伺服器管線：
- 在生產環境中執行管線時，您可以選擇使用 連續 管線模式。 請參閱 觸發與連續管線模式。
- 根據成功或失敗條件新增電子郵件更新的通知。 請參閱新增管線事件的電子郵件通知。
- 使用 [ 組態 ] 欄位來設定管線的機碼/值組。 這些組態有兩個用途：
- 設定您可以在原始碼中參考的任意參數。 請參閱 搭配 Delta Live Tables 管線使用參數。
- 設定管線設定和Spark組態。 請參閱 Delta Live Tables 屬性參考。
- 使用預覽通道，針對暫止的 Delta Live Tables 運行時間變更和試用新功能來測試管線。
預算原則
重要
這項功能處於公開預覽狀態。
預算原則可讓您的組織在無伺服器使用量上套用自定義標籤，以取得細微的計費屬性。 選取 [無伺服器] 複選框之後，[預算] 原則設定隨即出現，您可以在其中選取要套用至管線的原則。 卷標繼承自預算原則，只能由工作區管理員編輯。
注意
指派預算原則之後，現有的管線不會自動標記您的原則。 如果您想要將原則附加至現有管線，您必須手動更新這些管線。
如需預算原則的詳細資訊，請參閱 使用預算原則的屬性無伺服器使用量。
無伺服器管線功能
除了簡化設定之外，無伺服器管線還有下列功能：
- 具體化檢視的累加式重新整理：盡可能以累加方式重新整理具體化檢視的更新。 累加式重新整理的結果與完整重新計算的結果相同。 如果無法累加計算結果，更新會使用完整重新整理。 請參閱 具體化檢視的累加式重新整理。
- 串流管線：為了改善串流數據工作負載的使用率、輸送量和延遲，例如數據擷取，微巴切會 進行管線處理。 換句話說，無伺服器 DLT 管線會同時執行 microbatche，而不是像標準 Spark 結構化串流一樣循序執行 microbatche，而是改善計算資源使用率。 串流管線預設會在無伺服器 DLT 管線中啟用。
- 垂直自動調整：無伺服器 DLT 管線會新增至 Databricks 增強型自動調整所提供的水平自動調整，方法是自動配置最符合成本效益的實例類型，以執行 Delta Live Tables 管線，而不會因為記憶體不足錯誤而失敗。 請參閱 什麼是垂直自動調整？
什麼是垂直自動調整？
無伺服器 DLT 管線垂直自動調整會自動配置最符合成本效益的實例類型，以執行您的 Delta Live Tables 管線更新，而不會因為記憶體不足錯誤而失敗。 當需要較大的實例類型來執行管線更新時，垂直自動調整會相應增加，並在它判斷更新可以使用較小的實例類型執行時相應減少。 垂直自動調整決定驅動程序節點、背景工作節點，或驅動程式和背景工作節點是否應該相應增加或減少。
垂直自動調整適用於所有無伺服器 DLT 管線，包括 Databricks SQL 具體化檢視和串流數據表所使用的管線。
垂直自動調整的運作方式是偵測因記憶體不足錯誤而失敗的管線更新。 當偵測到這些失敗時，垂直自動調整會根據從失敗更新收集的記憶體不足數據，配置較大的實例類型。 在生產模式中，會自動啟動使用新計算資源的新更新。 在開發模式中，當您手動啟動新的更新時，會使用新的計算資源。
如果垂直自動調整偵測到已配置實例的記憶體一致使用量過低，它會相應減少實例類型，以在下一個管線更新中使用。
將現有的管線轉換為使用無伺服器
您可以使用 Unity 目錄設定的現有管線轉換成無伺服器管線。 完成下列步驟：
- 按兩下提要欄中的 [ 差異實時數據表 ]。
- 按兩下清單中的所需管線名稱。
- 按一下 [設定] 。
- 核取 [無伺服器] 旁的方塊。
- 按兩下 [ 儲存並啟動]。
重要
當您啟用無伺服器時，會移除您為管線設定的任何計算設定。 如果您將管線切換回非無伺服器更新，則必須將所需的計算設定重新設定為管線組態。
如何尋找無伺服器管線的 DBU 使用量？
您可以查詢 Azure Databricks 系統數據表的可計費使用量數據表，以尋找無伺服器 DLT 管線的 DBU 使用量。 請參閱 無伺服器 DLT 管線的 DBU 耗用量為何？。