覆蓋 Databricks 資產包中的工作任務設定

本文說明如何在 Databricks 資產組合中覆寫 Azure Databricks 作業任務的設定。 請參閱 什麼是 Databricks 資產套件組合？

在 Azure Databricks 套件組合組態檔中，您可以在作業定義內使用 task 對應，將最高層級的 resources 對應中的作業工作設定與 targets 對應中的設定聯結。例如（為求簡潔，省略部分內容）：

# ...
resources:
  jobs:
    <some-unique-programmatic-identifier-for-this-job>:
      # ...
      tasks:
        - task_key: <some-unique-programmatic-identifier-for-this-task>
          # Task settings.

targets:
  <some-unique-programmatic-identifier-for-this-target>:
    resources:
      jobs:
        <the-matching-programmatic-identifier-for-this-job>:
          # ...
          tasks:
            - task_key: <the-matching-programmatic-identifier-for-this-key>
              # Any more task settings to join with the settings from the
              # resources mapping for the matching top-level task_key.
          # ...

為了合併相同 task的最高層次 resources 映射和 targets 映射，task 映射的 task_key 必須設為相同的值。

如果在頂層 resources 映射和相同 targets的 task 映射中定義了任何作業任務設定，則 targets 映射中的設定優先於頂層 resources 映射中的設定。

範例 1：作業工作設定在多個資源對應中定義，且沒有任何設定衝突

在此範例中，最上層 spark_version 對應中的 resources 會與 node_type_id 中 num_workers 對應中的 resources 和 targets 結合，以定義名為 task_key 的 my-task 的設定（省略號表示省略的內容，為簡潔起見）：

# ...
resources:
  jobs:
    my-job:
      name: my-job
      tasks:
        - task_key: my-key
          new_cluster:
            spark_version: 13.3.x-scala2.12

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          tasks:
            - task_key: my-task
              new_cluster:
                node_type_id: Standard_DS3_v2
                num_workers: 1
          # ...

當您針對此範例執行 databricks bundle validate 時，產生的圖表如下所示（省略內容，為了簡潔）：

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "tasks": [
          {
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 1,
              "spark_version": "13.3.x-scala2.12"
            },
            "task-key": "my-task"
          }
        ],
        "...": "..."
      }
    }
  }
}

範例 2：多個資源對應中定義的衝突工作任務設定

在此範例中，spark_version和 num_workers 都是在最上層 resources 對應和 resources中的 targets 對應中定義。 spark_version 中 num_workers 對應中的 resources 和 targets 優先於最上層 spark_version 對應中的 num_workers 和 resources。 這會定義名為 task_key 的 my-task 設定（省略號表示內容省略，為了簡潔）：

# ...
resources:
  jobs:
    my-job:
      name: my-job
      tasks:
        - task_key: my-task
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: Standard_DS3_v2
            num_workers: 1

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          tasks:
            - task_key: my-task
              new_cluster:
                spark_version: 12.2.x-scala2.12
                num_workers: 2
          # ...

當您針對此範例執行 databricks bundle validate 時，產生的圖表如下所示（省略內容，為了簡潔）：

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "tasks": [
          {
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 2,
              "spark_version": "12.2.x-scala2.12"
            },
            "task_key": "my-task"
          }
        ],
        "...": "..."
      }
    }
  }
}