Zastępowanie ustawień klastra w pakietach zasobów usługi Databricks

W tym artykule opisano sposób zastępowania ustawień klastrów usługi Azure Databricks w pakietach zasobów usługi Databricks. Zobacz Co to są pakiety zasobów usługi Databricks?

W plikach konfiguracji pakietu usługi Azure Databricks można dołączyć ustawienia klastra w mapowaniu najwyższego targets poziomu resources z ustawieniami klastra w mapowaniu w następujący sposób.

W przypadku zadań użyj job_cluster_key mapowania w definicji zadania, aby dołączyć ustawienia klastra w mapowaniu najwyższego poziomu resources z ustawieniami klastra w targets mapowaniu, na przykład (wielokropek wskazuje pominiętą zawartość w celu zwięzłości):

# ...
resources:
  jobs:
    <some-unique-programmatic-identifier-for-this-job>:
      # ...
      job_clusters:
        - job_cluster_key: <some-unique-programmatic-identifier-for-this-key>
          new_cluster:
            # Cluster settings.

targets:
  <some-unique-programmatic-identifier-for-this-target>:
    resources:
      jobs:
        <the-matching-programmatic-identifier-for-this-job>:
          # ...
          job_clusters:
            - job_cluster_key: <the-matching-programmatic-identifier-for-this-key>
              # Any more cluster settings to join with the settings from the
              # resources mapping for the matching top-level job_cluster_key.
          # ...

Jeśli dowolne ustawienie klastra jest zdefiniowane zarówno w mapowaniu najwyższego poziomu resources , jak i targets mapowaniu dla tego samego job_cluster_keyelementu , ustawienie w targets mapowaniu ma pierwszeństwo przed ustawieniem w mapowaniu najwyższego poziomu resources .

W przypadku potoków delty tabel na żywo użyj label mapowania w cluster definicji potoku, aby połączyć ustawienia klastra w mapowaniu najwyższego poziomu resources z ustawieniami klastra w targets mapowaniu, na przykład (wielokropek wskazuje pominiętą zawartość w celu zwięzłości):

# ...
resources:
  pipelines:
    <some-unique-programmatic-identifier-for-this-pipeline>:
      # ...
      clusters:
        - label: default | maintenance
          # Cluster settings.

targets:
  <some-unique-programmatic-identifier-for-this-target>:
    resources:
      pipelines:
        <the-matching-programmatic-identifier-for-this-pipeline>:
          # ...
          clusters:
            - label: default | maintenance
              # Any more cluster settings to join with the settings from the
              # resources mapping for the matching top-level label.
          # ...

Jeśli dowolne ustawienie klastra jest zdefiniowane zarówno w mapowaniu najwyższego poziomu resources , jak i targets mapowaniu dla tego samego labelelementu , ustawienie w targets mapowaniu ma pierwszeństwo przed ustawieniem w mapowaniu najwyższego poziomu resources .

Przykład 1: Nowe ustawienia klastra zadań zdefiniowane w wielu mapowaniach zasobów i bez konfliktów ustawień

W tym przykładzie spark_version w mapowaniu najwyższego poziomu resources jest łączone i node_type_idnum_workers w resources mapowaniu w programie w targets celu zdefiniowania ustawień job_cluster_key nazwanych my-cluster (wielokropek wskazuje pominiętą zawartość w celu zwięzłości):

# ...
resources:
  jobs:
    my-job:
      name: my-job
      job_clusters:
        - job_cluster_key: my-cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          job_clusters:
            - job_cluster_key: my-cluster
              new_cluster:
                node_type_id: Standard_DS3_v2
                num_workers: 1
          # ...

Po uruchomieniu databricks bundle validate tego przykładu wynikowy wykres jest następujący (wielokropek wskazuje pominiętą zawartość w celu zwięzłości):

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "job_clusters": [
          {
            "job_cluster_key": "my-cluster",
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 1,
              "spark_version": "13.3.x-scala2.12"
            }
          }
        ],
        "...": "..."
      }
    }
  }
}

Przykład 2. Konflikt nowych ustawień klastra zadań zdefiniowanych w wielu mapowaniach zasobów

W tym przykładzie spark_versionwartości i num_workers są zdefiniowane zarówno w mapowaniu najwyższego poziomuresources, jak i w mapowaniu w targetspliku resources . W tym przykładzie, a w mapowaniu pierwszeństwo targets nad spark_version i num_workers w mapowaniu najwyższego poziomuresources, aby zdefiniować ustawienia job_cluster_key dla nazwanych my-cluster (wielokropek wskazuje pominiętą zawartość dla zwięzłości):num_workersspark_versionresources

# ...
resources:
  jobs:
    my-job:
      name: my-job
      job_clusters:
        - job_cluster_key: my-cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: Standard_DS3_v2
            num_workers: 1

targets:
  development:
    resources:
      jobs:
        my-job:
          name: my-job
          job_clusters:
            - job_cluster_key: my-cluster
              new_cluster:
                spark_version: 12.2.x-scala2.12
                num_workers: 2
          # ...

Po uruchomieniu databricks bundle validate tego przykładu wynikowy wykres jest następujący (wielokropek wskazuje pominiętą zawartość w celu zwięzłości):

{
  "...": "...",
  "resources": {
    "jobs": {
      "my-job": {
        "job_clusters": [
          {
            "job_cluster_key": "my-cluster",
            "new_cluster": {
              "node_type_id": "Standard_DS3_v2",
              "num_workers": 2,
              "spark_version": "12.2.x-scala2.12"
            }
          }
        ],
        "...": "..."
      }
    }
  }
}

Przykład 3. Ustawienia klastra potoku zdefiniowane w wielu mapowaniach zasobów i bez konfliktów ustawień

W tym przykładzie node_type_id w mapowaniu najwyższego poziomu resources w num_workers mapowaniu w resources programie targets w celu zdefiniowania ustawień label nazwanych default (wielokropek wskazuje pominiętą zawartość w celu zwięzłości):

# ...
resources:
  pipelines:
    my-pipeline:
      clusters:
        - label: default
          node_type_id: Standard_DS3_v2

targets:
  development:
    resources:
      pipelines:
        my-pipeline:
          clusters:
            - label: default
              num_workers: 1
          # ...

Po uruchomieniu databricks bundle validate tego przykładu wynikowy wykres jest następujący (wielokropek wskazuje pominiętą zawartość w celu zwięzłości):

{
  "...": "...",
  "resources": {
    "pipelines": {
      "my-pipeline": {
        "clusters": [
          {
            "label": "default",
            "node_type_id": "Standard_DS3_v2",
            "num_workers": 1
          }
        ],
        "...": "..."
      }
    }
  }
}

Przykład 4. Konflikt ustawień klastra potoku zdefiniowanych w wielu mapowaniach zasobów

W tym przykładzie num_workers zdefiniowano zarówno mapowanie najwyższego poziomuresources, jak i w mapowaniu w targetspliku resources . num_workersw mapowaniu w targets metodzie resources pierwszeństwo num_workers przed mapowaniem najwyższego poziomu resources w celu zdefiniowania ustawień label nazwanych default (wielokropek wskazuje pominiętą zawartość w celu zwięzłości):

# ...
resources:
  pipelines:
    my-pipeline:
      clusters:
        - label: default
          node_type_id: Standard_DS3_v2
          num_workers: 1

targets:
  development:
    resources:
      pipelines:
        my-pipeline:
          clusters:
            - label: default
              num_workers: 2
          # ...

Po uruchomieniu databricks bundle validate tego przykładu wynikowy wykres jest następujący (wielokropek wskazuje pominiętą zawartość w celu zwięzłości):

{
  "...": "...",
  "resources": {
    "pipelines": {
      "my-pipeline": {
        "clusters": [
          {
            "label": "default",
            "node_type_id": "Standard_DS3_v2",
            "num_workers": 2
          }
        ],
        "...": "..."
      }
    }
  }
}