Configurar e editar tarefas do Databricks

Este artigo aborda as instruções para criar, configurar e editar tarefas usando a interface do usuário Fluxos de trabalho do workspace.

O Azure Databricks gerencia tarefas como componentes de trabalhos do Databricks. Um trabalho tem uma ou mais tarefas. Você cria um novo trabalho na interface do usuário do workspace configurando a primeira tarefa. Para configurar um novo trabalho, confira Configurar e editar trabalhos do Databricks.

Cada tarefa tem um recurso de computação associado que executa a lógica da tarefa. Se você estiver usando a tecnologia sem servidor, o Azure Databricks configurará seus recursos de computação. Se você não estiver usando sem servidor, confira Configurar computação para trabalhos.

O Azure Databricks tem outros pontos de entrada e ferramentas para a configuração de tarefas, incluindo o seguinte:

• Referência de API REST de trabalhos
• O que é a CLI do Databricks?
• Criar e gerenciar trabalhos de notebook agendados

Criar ou configurar uma tarefa

Para editar uma tarefa existente ou adicionar uma nova tarefa com a interface do usuário do espaço de trabalho, selecione um trabalho existente usando as seguintes etapas:

1. Clique em Fluxos de trabalho na barra lateral.
2. Na coluna Nome, clique no nome do trabalho.
3. Clique na guia Tarefas. O gráfico de tarefas é exibido.
4. Para editar uma tarefa, clique no nome da tarefa. A configuração da tarefa aparece abaixo do gráfico de tarefas.
5. Para adicionar uma tarefa, clique em .

Tipos de tarefas

As opções de configuração e as instruções variam de acordo com a tarefa. Os seguintes tipos de tarefa estão disponíveis:

• Notebook
• Script Python
• Wheel Python
• SQL
• Pipeline de DLT
• dbt
• JAR
• Spark Submit
• Executar trabalho
• If/else
• For each

Clonar uma tarefa

Clone tarefas para copiar todas as configurações de uma tarefa existente, incluindo dependências upstream.

Para clonar uma tarefa, faça o seguinte:

1. Selecione a tarefa no gráfico de tarefas.
2. Clique no .
3. Especifique um Nome de tarefa clonada e clique em Clonar.

Excluir uma tarefa

Para excluir uma tarefa, faça o seguinte.

1. Selecione a tarefa no gráfico de tarefas.
2. Clique e selecione Excluir tarefa.

Copiar um caminho de tarefa

Determinados tipos de tarefa, por exemplo, tarefas de notebook, permite copiar o caminho para o código-fonte da tarefa:

1. Clique na guia Tarefas.
2. Selecione a tarefa que contém o caminho a ser copiado.
3. Clique no ao lado do caminho da tarefa para copiar o caminho na área de transferência.

Configurações avançadas de tarefa

As configurações avançadas a seguir controlam as novas tentativas para tarefas com falha e políticas de tempo limite para tarefas que não respondem.

Observação

Você pode definir notificações no nível da tarefa ou do trabalho. Consulte Adicionar notificações em um trabalho.

Definir uma política de repetição

A configuração padrão para novas tentativas de tarefa depende da configuração do trabalho. Para a maioria das configurações, a configuração padrão não repete nenhuma tarefa em caso de falha de tarefa.

Os trabalhos sem servidor otimizam automaticamente as repetições de tentativa por padrão. Confira Configurar a otimização automática de computação sem servidor para proibir repetições de tentativa

Os trabalhos contínuos usam uma política de repetição com retirada exponencial. Confira Como as falhas são tratadas em trabalhos contínuos?.

Para configurar uma política que determina quando e quantas vezes as execuções de tarefas com falha são repetidas, clique em + Adicionar ao lado de Repetições.

O intervalo de repetição é calculado em milissegundos entre o início da execução com falha e a repetição subsequente.

Observação

Se você configurar Tempo Limite e Novas Tentativas, o tempo limite se aplicará a cada tentativa.

Configurar limites para a duração da execução da tarefa ou métricas de lista de pendências de streaming

Importante

A observabilidade de streaming para os trabalhos do Databricks está em Visualização Pública.

Você pode configurar limites opcionais para a duração da execução de tarefas ou métricas de atraso de processamento de streaming. Para configurar limites de duração ou limites de métrica de streaming, clique em Limites de métrica no painel de configuração da tarefa.

Para configurar os limites de duração da tarefa, incluindo os tempos de conclusão esperados e máximos para a tarefa, selecione Duração da execução no menu suspenso Métrica. Insira uma duração no campo aviso para configurar o tempo de conclusão esperado das tarefas. Se a execução da tarefa exceder esse limite, um evento será disparado. Para configurar um tempo máximo de conclusão para um trabalho, insira a duração máxima no campo Tempo limite. Se o trabalho não for concluído nesse tempo, o Azure Databricks definirá seu status como “Tempo Limite Atingido”.

Para configurar um limite para uma métrica de lista de pendências de streaming, selecione a métrica no menu suspenso Métrica e insira um valor para o limite. Para saber mais sobre as métricas específicas compatíveis com uma fonte de streaming, consulte Exibir métricas para tarefas de streaming.

Insira uma duração no campo Aviso para configurar o tempo de conclusão esperado da tarefa. Se a tarefa exceder esse limite, um evento será disparado. Você pode usar esse evento para notificar quando uma tarefa está sendo executada lentamente. Consulte Configurar notificações para trabalhos lentos.

Para configurar um tempo máximo de conclusão para um trabalho, insira a duração máxima no campo Tempo limite. Se o trabalho não for concluído nesse tempo, o Azure Databricks definirá seu status como “Tempo Limite Atingido”.

Se um evento for disparado porque um limite é excedido, você pode usar o evento para enviar uma notificação. Consulte Configurar notificações para trabalhos lentos.