Переопределение параметров задач задания в пакетах ресурсов Databricks

В этой статье описывается, как переопределить настройки для задач Azure Databricks в бандлах активов Databricks. См. Что такое наборы ресурсов Databricks?

В Azure Databricks файлы конфигурации пакетаможно использовать сопоставление task в определении задания, чтобы соединить настройки задач верхнего уровня в сопоставлении resources с настройками задачи в сопоставлении targets, например (многоточия указывают на пропущенное содержимое для краткости):

# ...
resources:
  jobs:
    <some-unique-programmatic-identifier-for-this-job>:
      # ...
      tasks:
        - task_key: <some-unique-programmatic-identifier-for-this-task>
          # Task settings.

targets:
  <some-unique-programmatic-identifier-for-this-target>:
    resources:
      jobs:
        <the-matching-programmatic-identifier-for-this-job>:
          # ...
          tasks:
            - task_key: <the-matching-programmatic-identifier-for-this-key>
              # Any more task settings to join with the settings from the
              # resources mapping for the matching top-level task_key.
          # ...

Чтобы объединить сопоставление верхнего уровня resources и сопоставление targets для того же task, значения task_key в сопоставлениях task должны быть одинаковыми.

Если любой параметр задачи задания определен как в сопоставлении resources верхнего уровня, так и в сопоставлении targets для одного и того же task, то параметр в сопоставлении targets имеет приоритет над параметром в сопоставлении resources верхнего уровня.

Пример 1. Параметры задачи задания, определенные в нескольких сопоставлениях ресурсов и без конфликтов параметров

В этом примере spark_version в сопоставлении resources верхнего уровня объединяется с node_type_id и num_workers в сопоставлении resources в targets для определения параметров для task_key именуемых my-task (многоточие указывает на пропущенное содержимое для краткости):

# ...
resources:
  jobs:
    my-job:
      name: my-job
      tasks:
        - task_key: my-key
          new_cluster:
            spark_version: 13.3.x-scala2.12

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          tasks:
            - task_key: my-task
              new_cluster:
                node_type_id: Standard_DS3_v2
                num_workers: 1
          # ...

При выполнении databricks bundle validate для этого примера результирующий граф выглядит следующим образом (многоточия указывают на пропущенное содержимое для краткости):

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "tasks": [
          {
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 1,
              "spark_version": "13.3.x-scala2.12"
            },
            "task-key": "my-task"
          }
        ],
        "...": "..."
      }
    }
  }
}

Пример 2. Конфликтующие параметры задач задания, определенные в нескольких сопоставлениях ресурсов

В этом примере spark_versionи num_workers определяются как в сопоставлении resources верхнего уровня, так и в сопоставлении resources в targets. spark_version и num_workers в сопоставлении resources в targets имеют приоритет над spark_version и num_workers в верхнеуровневом сопоставлении resources. Эти параметры определяют настройки для task_key с названием my-task (многоточия указывают на пропущенное содержимое для краткости):

# ...
resources:
  jobs:
    my-job:
      name: my-job
      tasks:
        - task_key: my-task
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: Standard_DS3_v2
            num_workers: 1

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          tasks:
            - task_key: my-task
              new_cluster:
                spark_version: 12.2.x-scala2.12
                num_workers: 2
          # ...

При выполнении databricks bundle validate для этого примера результирующий граф выглядит следующим образом (многоточия указывают на пропущенное содержимое для краткости):

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "tasks": [
          {
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 2,
              "spark_version": "12.2.x-scala2.12"
            },
            "task_key": "my-task"
          }
        ],
        "...": "..."
      }
    }
  }
}