Databricks 자산 번들의 클러스터 설정 재정의

이 문서에서는 Databricks 자산 번들에서 Azure Databricks 클러스터에 대한 설정을 재정의하는 방법을 설명합니다. Databricks 자산 번들이란?

Azure Databricks 번들 구성 파일에서 다음과 같이 클러스터 설정을 매핑의 resources 클러스터 설정 targets 과 최상위 매핑에 조인할 수 있습니다.

작업의 경우 작업 정의 내의 job_cluster_key 매핑을 사용하여 매핑의 클러스터 설정과 최상위 resources 매핑의 targets 클러스터 설정을 조인합니다(예: 간결성을 위해 생략된 콘텐츠를 나타내는 줄임표).

# ...
resources:
  jobs:
    <some-unique-programmatic-identifier-for-this-job>:
      # ...
      job_clusters:
        - job_cluster_key: <some-unique-programmatic-identifier-for-this-key>
          new_cluster:
            # Cluster settings.

targets:
  <some-unique-programmatic-identifier-for-this-target>:
    resources:
      jobs:
        <the-matching-programmatic-identifier-for-this-job>:
          # ...
          job_clusters:
            - job_cluster_key: <the-matching-programmatic-identifier-for-this-key>
              # Any more cluster settings to join with the settings from the
              # resources mapping for the matching top-level job_cluster_key.
          # ...

최상위 resources 매핑과 targets 동일한 job_cluster_key매핑에 클러스터 설정이 모두 정의된 경우 매핑의 설정 targets 이 최상위 resources 매핑의 설정보다 우선합니다.

Delta Live Tables 파이프라인의 경우 파이프라인 정의 내 cluster 의 매핑을 사용하여 label 매핑의 클러스터 설정과 최상위 resources 매핑의 클러스터 설정을 targets 조인합니다(예: 줄임표는 생략된 콘텐츠를 간결하게 표시함).

# ...
resources:
  pipelines:
    <some-unique-programmatic-identifier-for-this-pipeline>:
      # ...
      clusters:
        - label: default | maintenance
          # Cluster settings.

targets:
  <some-unique-programmatic-identifier-for-this-target>:
    resources:
      pipelines:
        <the-matching-programmatic-identifier-for-this-pipeline>:
          # ...
          clusters:
            - label: default | maintenance
              # Any more cluster settings to join with the settings from the
              # resources mapping for the matching top-level label.
          # ...

최상위 resources 매핑과 targets 동일한 label매핑에 클러스터 설정이 모두 정의된 경우 매핑의 설정 targets 이 최상위 resources 매핑의 설정보다 우선합니다.

예제 1: 여러 리소스 매핑에 정의되고 설정 충돌이 없는 새 작업 클러스터 설정

이 예제 spark_version 에서 최상위 resources 매핑은 매핑 targets 과 node_type_id 결합되어 num_workersresources 명명된 my-cluster 설정job_cluster_key(줄임표는 생략된 콘텐츠를 간결하게 표시함)을 정의합니다.

# ...
resources:
  jobs:
    my-job:
      name: my-job
      job_clusters:
        - job_cluster_key: my-cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          job_clusters:
            - job_cluster_key: my-cluster
              new_cluster:
                node_type_id: Standard_DS3_v2
                num_workers: 1
          # ...

이 예제를 실행 databricks bundle validate 하면 결과 그래프는 다음과 같습니다(줄임표는 간결하게 하기 위해 생략된 콘텐츠를 나타낸다).

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "job_clusters": [
          {
            "job_cluster_key": "my-cluster",
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 1,
              "spark_version": "13.3.x-scala2.12"
            }
          }
        ],
        "...": "..."
      }
    }
  }
}

예제 2: 여러 리소스 매핑에 정의된 새 작업 클러스터 설정 충돌

이 예제spark_version에서는 최상위 resources 매핑 resourcestargets과 num_workers 매핑 모두에서 정의됩니다. 이 예제 spark_version 와 num_workers 매핑에서 resourcestargets 최상위 resources 매핑보다 spark_version 우선적으로 num_workers 명명된 my-cluster 설정을 job_cluster_key 정의합니다(줄임표는 간결성을 위해 생략된 콘텐츠를 나타낸다).

# ...
resources:
  jobs:
    my-job:
      name: my-job
      job_clusters:
        - job_cluster_key: my-cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: Standard_DS3_v2
            num_workers: 1

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          job_clusters:
            - job_cluster_key: my-cluster
              new_cluster:
                spark_version: 12.2.x-scala2.12
                num_workers: 2
          # ...

이 예제를 실행 databricks bundle validate 하면 결과 그래프는 다음과 같습니다(줄임표는 간결하게 하기 위해 생략된 콘텐츠를 나타낸다).

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "job_clusters": [
          {
            "job_cluster_key": "my-cluster",
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 2,
              "spark_version": "12.2.x-scala2.12"
            }
          }
        ],
        "...": "..."
      }
    }
  }
}

예제 3: 여러 리소스 매핑에 정의되고 설정 충돌이 없는 파이프라인 클러스터 설정

이 예제 node_type_id 에서 최상위 resources 매핑은 매핑 targets 에서 resources 결합 num_workers 되어 명명된 default 설정을 label 정의합니다(줄임표는 간결하게 생략된 콘텐츠를 나타낸다).

# ...
resources:
  pipelines:
    my-pipeline:
      clusters:
        - label: default
          node_type_id: Standard_DS3_v2

targets:
  development:
    resources:
      pipelines:
        my-pipeline:
          clusters:
            - label: default
              num_workers: 1
          # ...

이 예제를 실행 databricks bundle validate 하면 결과 그래프는 다음과 같습니다(줄임표는 간결하게 하기 위해 생략된 콘텐츠를 나타낸다).

{
  "...": "...",
  "resources": {
    "pipelines": {
      "my-pipeline": {
        "clusters": [
          {
            "label": "default",
            "node_type_id": "Standard_DS3_v2",
            "num_workers": 1
          }
        ],
        "...": "..."
      }
    }
  }
}

예제 4: 여러 리소스 매핑에 정의된 충돌하는 파이프라인 클러스터 설정

이 예제 num_workers 에서는 최상위 resources 매핑과 매핑에서 resources 모두 정의됩니다 targets. num_workers매핑에서 resourcestargets 최상위 resources 매핑보다 num_workers 우선적으로 명명된 default 설정label(줄임표는 생략된 콘텐츠를 간결하게 표시함)을 정의합니다.

# ...
resources:
  pipelines:
    my-pipeline:
      clusters:
        - label: default
          node_type_id: Standard_DS3_v2
          num_workers: 1

targets:
  development:
    resources:
      pipelines:
        my-pipeline:
          clusters:
            - label: default
              num_workers: 2
          # ...

이 예제를 실행 databricks bundle validate 하면 결과 그래프는 다음과 같습니다(줄임표는 간결하게 하기 위해 생략된 콘텐츠를 나타낸다).

{
  "...": "...",
  "resources": {
    "pipelines": {
      "my-pipeline": {
        "clusters": [
          {
            "label": "default",
            "node_type_id": "Standard_DS3_v2",
            "num_workers": 2
          }
        ],
        "...": "..."
      }
    }
  }
}