Adicionar tarefas a trabalhos no Databricks Asset Bundles

Este artigo fornece exemplos de vários tipos de tarefas que você pode adicionar aos trabalhos do Azure Databricks no Databricks Asset Bundles. Consulte O que são Databricks Asset Bundles?.

A maioria dos tipos de tarefas de trabalho tem parâmetros específicos de tarefas entre suas configurações suportadas, mas você também pode definir parâmetros de trabalho que são passados para tarefas. As referências de valor dinâmico são suportadas para parâmetros de trabalho, que permitem a passagem de valores específicos para o trabalho executado entre tarefas. Consulte O que é uma referência de valor dinâmico?.

Nota

Você pode substituir as configurações de tarefas de trabalho. Consulte Substituir configurações de tarefas de trabalho em Databricks Asset Bundles.

Gorjeta

Para gerar rapidamente a configuração de recursos para um trabalho existente usando a CLI do Databricks, você pode usar o bundle generate job comando. Consulte os comandos do pacote.

Tarefa do bloco de notas

Use essa tarefa para executar um bloco de anotações.

O exemplo a seguir adiciona uma tarefa de bloco de anotações a um trabalho e define um parâmetro de trabalho chamado my_job_run_id. O caminho para a implantação do bloco de anotações é relativo ao arquivo de configuração no qual essa tarefa é declarada. A tarefa obtém o bloco de anotações de seu local implantado no espaço de trabalho do Azure Databricks.

resources:
  jobs:
    my-notebook-job:
      name: my-notebook-job
      tasks:
        - task_key: my-notebook-task
          notebook_task:
            notebook_path: ./my-notebook.ipynb
      parameters:
        - name: my_job_run_id
          default: "{{job.run_id}}"

Para obter mapeamentos adicionais que você pode definir para esta tarefa, consulte tasks > notebook_task a carga útil de solicitação da operação de criação de trabalho, conforme definido em POST /api/2.1/jobs/create na referência da API REST, expressa no formato YAML. Consulte Tarefa do bloco de anotações para trabalhos.

Tarefa de condição Se/não

O condition_task permite que você adicione uma tarefa com lógica condicional if/else ao seu trabalho. A tarefa avalia uma condição que pode ser usada para controlar a execução de outras tarefas. A tarefa de condição não requer a execução de um cluster e não suporta novas tentativas ou notificações. Para obter mais informações sobre a tarefa if/else, consulte Adicionar lógica de ramificação a um trabalho com a tarefa If/else.

O exemplo a seguir contém uma tarefa de condição e uma tarefa de bloco de anotações, em que a tarefa de bloco de anotações só é executada se o número de reparos de trabalho for menor que 5.

resources:
  jobs:
    my-job:
      name: my-job
      tasks:
        - task_key: condition_task
          condition_task:
            op: LESS_THAN
            left: "{{job.repair_count}}"
            right: "5"
        - task_key: notebook_task
          depends_on:
            - task_key: condition_task
              outcome: "true"
          notebook_task:
            notebook_path: ../src/notebook.ipynb

Para obter mapeamentos adicionais que você pode definir para esta tarefa, consulte tasks > condition_task a carga útil de solicitação da operação de criação de trabalho, conforme definido em POST /api/2.1/jobs/create na referência da API REST, expressa no formato YAML.

Para cada tarefa

O for_each_task permite que você adicione uma tarefa com um para cada loop ao seu trabalho. A tarefa executa uma tarefa aninhada para cada entrada fornecida. Para obter mais informações sobre o for_each_task, consulte executar uma tarefa parametrizada do Azure Databricks num loop.

O exemplo a seguir adiciona um for_each_task a um trabalho, onde ele faz um loop sobre os valores de outra tarefa e os processa.

resources:
  jobs:
    my_job:
      name: my_job
      tasks:
        - task_key: generate_countries_list
          notebook_task:
            notebook_path: ../src/generate_countries_list.ipnyb
        - task_key: process_countries
          depends_on:
            - task_key: generate_countries_list
          for_each_task:
            inputs: "{{tasks.generate_countries_list.values.countries}}"
            task:
              task_key: process_countries_iteration
              notebook_task:
                notebook_path: ../src/process_countries_notebook.ipnyb

Para obter mapeamentos adicionais que você pode definir para esta tarefa, consulte tasks > for_each_task a carga útil de solicitação da operação de criação de trabalho, conforme definido em POST /api/2.1/jobs/create na referência da API REST, expressa no formato YAML.

Tarefa de script Python

Use esta tarefa para executar um arquivo Python.

O exemplo a seguir adiciona uma tarefa de script Python a um trabalho. O caminho para o arquivo Python ser implantado é relativo ao arquivo de configuração no qual essa tarefa é declarada. A tarefa obtém o arquivo Python de seu local implantado no espaço de trabalho do Azure Databricks.

resources:
  jobs:
    my-python-script-job:
      name: my-python-script-job

      tasks:
        - task_key: my-python-script-task
          spark_python_task:
            python_file: ./my-script.py

Para obter mapeamentos adicionais que você pode definir para esta tarefa, consulte tasks > spark_python_task a carga útil de solicitação da operação de criação de trabalho, conforme definido em POST /api/2.1/jobs/create na referência da API REST, expressa no formato YAML. Consulte também Tarefa de script Python para trabalhos.

Tarefa de roda Python

Use essa tarefa para executar um arquivo de roda do Python.

O exemplo a seguir adiciona uma tarefa de roda Python a um trabalho. O caminho para o arquivo de roda Python a ser implantado é relativo ao arquivo de configuração no qual essa tarefa é declarada. Consulte Dependências da biblioteca Databricks Asset Bundles.

resources:
  jobs:
    my-python-wheel-job:
      name: my-python-wheel-job
      tasks:
        - task_key: my-python-wheel-task
          python_wheel_task:
            entry_point: run
            package_name: my_package
          libraries:
            - whl: ./my_package/dist/my_package-*.whl

Para obter mapeamentos adicionais que você pode definir para esta tarefa, consulte tasks > python_wheel_task a carga útil de solicitação da operação de criação de trabalho, conforme definido em POST /api/2.1/jobs/create na referência da API REST, expressa no formato YAML. Consulte também Desenvolver um arquivo de roda Python usando Databricks Asset Bundles e tarefa Python Wheel para trabalhos.

Tarefa JAR

Use essa tarefa para executar um JAR. Você pode fazer referência a bibliotecas JAR locais ou em um espaço de trabalho, um volume do Catálogo Unity ou um local de armazenamento externo na nuvem. Consulte Dependências da biblioteca Databricks Asset Bundles.

O exemplo a seguir adiciona uma tarefa JAR a um trabalho. O caminho para o JAR é para o local do volume especificado.

resources:
  jobs:
    my-jar-job:
      name: my-jar-job
      tasks:
        - task_key: my-jar-task
          spark_jar_task:
            main_class_name: org.example.com.Main
          libraries:
            - jar: /Volumes/main/default/my-volume/my-project-0.1.0-SNAPSHOT.jar

Para obter mapeamentos adicionais que você pode definir para esta tarefa, consulte tasks > spark_jar_task a carga útil de solicitação da operação de criação de trabalho, conforme definido em POST /api/2.1/jobs/create na referência da API REST, expressa no formato YAML. Consulte Tarefa JAR para trabalhos.

Tarefa de arquivo SQL

Use essa tarefa para executar um arquivo SQL localizado em um espaço de trabalho ou em um repositório Git remoto.

O exemplo a seguir adiciona uma tarefa de arquivo SQL a um trabalho. Esta tarefa de arquivo SQL usa o SQL warehouse especificado para executar o arquivo SQL especificado.

resources:
  jobs:
    my-sql-file-job:
      name: my-sql-file-job
      tasks:
        - task_key: my-sql-file-task
          sql_task:
            file:
              path: /Users/someone@example.com/hello-world.sql
              source: WORKSPACE
            warehouse_id: 1a111111a1111aa1

Para obter a ID de um armazém SQL, abra a página de definições do armazém SQL e, em seguida, copie o ID encontrado entre parênteses após o nome do armazém no campo Nome no separador Descrição Geral .

Para obter mapeamentos adicionais que você pode definir para esta tarefa, consulte tasks > sql_task > file a carga útil de solicitação da operação de criação de trabalho, conforme definido em POST /api/2.1/jobs/create na referência da API REST, expressa no formato YAML. Consulte Tarefa SQL para trabalhos.

Tarefa de pipeline Delta Live Tables

Use essa tarefa para executar um pipeline Delta Live Tables. Consulte O que é Delta Live Tables?.

O exemplo a seguir adiciona uma tarefa de pipeline Delta Live Tables a um trabalho. Esta tarefa de pipeline Delta Live Tables executa o pipeline especificado.

resources:
  jobs:
    my-pipeline-job:
      name: my-pipeline-job
      tasks:
        - task_key: my-pipeline-task
          pipeline_task:
            pipeline_id: 11111111-1111-1111-1111-111111111111

Você pode obter a ID de um pipeline abrindo o pipeline no espaço de trabalho e copiando o valor do Pipeline ID na guia Detalhes do pipeline da página de configurações do pipeline.

Para obter mapeamentos adicionais que você pode definir para esta tarefa, consulte tasks > pipeline_task a carga útil de solicitação da operação de criação de trabalho, conforme definido em POST /api/2.1/jobs/create na referência da API REST, expressa no formato YAML. Consulte Tarefa de pipeline Delta Live Tables para trabalhos.

Tarefa DBT

Use essa tarefa para executar um ou mais comandos dbt. Consulte Conectar-se ao dbt Cloud.

O exemplo a seguir adiciona uma tarefa dbt a um trabalho. Esta tarefa dbt usa o SQL warehouse especificado para executar os comandos dbt especificados.

resources:
  jobs:
    my-dbt-job:
      name: my-dbt-job
      tasks:
        - task_key: my-dbt-task
          dbt_task:
            commands:
              - "dbt deps"
              - "dbt seed"
              - "dbt run"
            project_directory: /Users/someone@example.com/Testing
            warehouse_id: 1a111111a1111aa1
          libraries:
            - pypi:
                package: "dbt-databricks>=1.0.0,<2.0.0"

Para obter a ID de um armazém SQL, abra a página de definições do armazém SQL e, em seguida, copie o ID encontrado entre parênteses após o nome do armazém no campo Nome no separador Descrição Geral .

Para obter mapeamentos adicionais que você pode definir para esta tarefa, consulte tasks > dbt_task a carga útil de solicitação da operação de criação de trabalho, conforme definido em POST /api/2.1/jobs/create na referência da API REST, expressa no formato YAML. Consulte a tarefa dbt para trabalhos.

O Databricks Asset Bundles também inclui um modelo de dbt-sql projeto que define um trabalho com uma tarefa dbt, bem como perfis dbt para trabalhos dbt implantados. Para obter informações sobre modelos Databricks Asset Bundles, consulte Usar um modelo de pacote padrão.

Executar tarefa de trabalho

Use essa tarefa para executar outro trabalho.

O exemplo a seguir contém uma tarefa de trabalho de execução no segundo trabalho que executa o primeiro trabalho.

resources:
  jobs:
    my-first-job:
      name: my-first-job
      tasks:
        - task_key: my-first-job-task
          new_cluster:
            spark_version: "13.3.x-scala2.12"
            node_type_id: "i3.xlarge"
            num_workers: 2
          notebook_task:
            notebook_path: ./src/test.py
    my_second_job:
      name: my-second-job
      tasks:
        - task_key: my-second-job-task
          run_job_task:
            job_id: ${resources.jobs.my-first-job.id}

Este exemplo usa uma substituição para recuperar a ID do trabalho a ser executado. Para obter a ID de um trabalho da interface do usuário, abra-o no espaço de trabalho e copie-o do valor ID do trabalho na guia Detalhes do trabalho da página de configurações do trabalho.

Para obter mapeamentos adicionais que você pode definir para esta tarefa, consulte tasks > run_job_task a carga útil de solicitação da operação de criação de trabalho, conforme definido em POST /api/2.1/jobs/create na referência da API REST, expressa no formato YAML.