設定 Delta Live Tables 管線的計算

發行項
01/21/2025

本文包含設定 Delta Live Tables 流水線自訂計算設定時的說明和注意事項。

無伺服器管線不提供計算組態選項。請參閱設定 Delta Live Tables 無伺服器資料管線。

選擇叢集原則

用戶必須具有部署計算的許可權，才能設定及更新 Delta Live Tables 管線。工作區管理員可以設定叢集原則，讓用戶能夠存取 Delta Live Tables 的計算資源。請參閱定義 Delta Live Tables 管道計算資源限制。

注意

叢集原則是選用的。如果您缺少 Delta Live Tables 所需的計算許可權，請洽詢您的工作區管理員。

若要確保正確套用叢集原則預設值，請將 apply_policy_default_values 設定為管線組態中 true 叢集組態中的：

{
  "clusters": [
    {
      "label": "default",
      "policy_id": "<policy-id>",
      "apply_policy_default_values": true
    }
  ]
}

設定叢集標籤

您可以使用叢集標籤監控管線叢集的使用情況。當您建立或編輯管線或編輯管線叢集的 JSON 設定時，請在 Delta Live Tables UI 中新增叢集卷標。

選取執行管線所需的實例類型

預設情況下，Delta Live Tables 會選擇管線主節點和工作節點的實例類型。您可以選擇性地設定實體類型。

例如，選取實例類型以改善管線效能，或在執行管線時解決記憶體問題。當您建立或使用 REST API 或在 Delta Live Tables UI 中編輯管線時，您可以設定實例類型。

若要在 Delta Live Tables UI 中建立或編輯管線時設定實例類型：

按一下 [設定] 按鈕。
在管線設定的 [進階] 區段中，於 [工作類型] 和 [驅動程式類型] 下拉功能表中，選取管線的實例類型。

進階計算組態

注意

由於計算資源是完全由系統管理的，因此當您為管線選擇 無伺服器 時，計算設定將無法使用。

每個 Delta Live Tables 資料管道都有兩個相關的叢集：

updates 叢集會處理管線更新。
maintenance 叢集會執行每日維護工作。

使用工作區管線組態 UI 指定的計算設定會同時套用至更新和維護叢集。您必須編輯 JSON 組態，才能獨立修改這些設定。

這些叢集使用的組態取決於 clusters 管線設定中指定的屬性。

使用叢集標籤，您可以新增僅適用於特定叢集類型的計算設定。設定管線叢集時，您可以使用三個標籤：

注意

如果您只定義一個叢集組態，則可以省略叢集卷標設定。如果未提供標籤的設定，標籤 default 會套用至叢集設定。只有在您需要自訂不同叢集類型的設定時，才需要叢集標籤設定。

標籤default會定義和 updates 叢集的maintenance計算設定。將相同的設定套用至這兩個叢集可藉由確保儲存位置的數據存取認證等必要組態套用至維護叢集，以改善維護執行的可靠性。
maintenance 標籤會定義僅適用於 maintenance 叢集的計算設定。您也可以使用 maintenance 標籤來覆寫 default 標籤設定的設定。
updates 標籤會定義僅適用於 updates 叢集的設定。使用它來設定不應套用至叢集的 maintenance 設定。

使用 default 和 updates 標籤定義的設定會合併為 updates 叢集建立最終設定。如果使用 default 和 updates 標籤來定義相同的設定，則以 updates 標籤定義的設定會覆寫以 default 標籤定義的設定。

下列範例會定義只新增至叢集設定的 updates Spark 設定參數：

{
  "clusters": [
    {
      "label": "default",
      "autoscale": {
        "min_workers": 1,
        "max_workers": 5,
        "mode": "ENHANCED"
      }
    },
    {
      "label": "updates",
      "spark_conf": {
         "key": "value"
      }
    }
  ]
}

Delta Live Tables 有類似 Azure Databricks 上其他計算的叢集設定選項。如同其他管線設定，您可以修改叢集的 JSON 設定，以指定 UI 中不存在的選項。請參閱計算。

注意

因為 Delta Live Tables 運行時間會管理管線叢集的生命週期，並執行自定義版本的 Databricks Runtime，所以您無法在管線設定中手動設定某些叢集設定，例如 Spark 版本或叢集名稱。請參閱不是使用者可設定的叢集屬性。

設定更新和維護叢集的實例類型

若要在管線的 JSON 設定中設定執行個體類型，請按下 [JSON] 按鈕，然後在叢集設定中輸入執行個體類型設定：

注意

為了避免將不必要的資源指派給 maintenance 叢集，本範例會使用 updates 標籤，只設定 updates 叢集的實例類型。若要將執行個體類型指派給 updates 和 maintenance 叢集，請使用 default 標籤或省略標籤的設定。如果未提供標籤的設定，標籤 default 就會套用至管線叢集設定。請參閱進階計算組態。

{
  "clusters": [
    {
      "label": "updates",
      "node_type_id": "Standard_D12_v2",
      "driver_node_type_id": "Standard_D3_v2",
      "..." : "..."
    }
  ]
}

延遲計算關機

若要控制叢集關機行為，您可以使用開發模式或生產模式，或使用管線設定中的 pipelines.clusterShutdown.delay 設定。下列範例會將 pipelines.clusterShutdown.delay 值設定為 60 秒：

{
    "configuration": {
      "pipelines.clusterShutdown.delay": "60s"
    }
}

啟用 production 模式時，pipelines.clusterShutdown.delay 的預設值為 0 seconds。啟用 development 模式時，預設值為 2 hours。

注意

由於 Delta Live Tables 叢集在不使用時會自動關閉，因此在叢集配置中引用設定 autotermination_minutes 的叢集策略會產生錯誤。

建立單一節點叢集

如果您在叢集設定中將 num_workers 設定為 0，叢集會建立為單一節點叢集。設定自動調整叢集並將 min_workers 設定為 0，max_workers 設定為 0 會建立單一節點叢集。

如果您配置了一個自動調整叢集，並且僅將 min_workers 設定為 0，那麼這個叢集不會被建立為單一節點的叢集。叢集一直至少有一個作用中背景工作角色，直到終止為止。

在 Delta Live Tables 中建立單一節點叢集的範例叢集組態：

{
    "clusters": [
      {
        "num_workers": 0
      }
    ]
}

共用方式為