Tarefa do pipeline DLT para trabalhos
Os trabalhos fornecem uma abordagem processual para definir relações entre tarefas. Os canais DLT fornecem uma abordagem declarativa para definir relações entre conjuntos de dados e transformações. Esta página descreve como pode-se agendar pipelines DLT acionados para serem executados como uma tarefa num trabalho Databricks, usando a interface de utilizador de Trabalhos, a interface de utilizador de pipeline DLT ou SQL.
Observação
Um pipeline DLT acionado por e é um pipeline que não é executado continuamente, mas deve ser ativado para iniciar. A tarefa de um canal pode ser o mecanismo de ativação para um pipeline DLT acionado. Pipelines contínuos não precisam ser acionados, portanto, acioná-los por meio de uma tarefa seria redundante. Para saber mais sobre pipelines acionados e contínuos, consulte Modo de pipeline acionado versus contínuo.
Configurar uma tarefa de pipeline de DLT com a Interface de Trabalhos
Os pipelines DLT gerem todas as configurações de código-fonte e computa na definição do pipeline.
Para adicionar um pipeline a um trabalho, conclua as seguintes etapas:
- Crie e nomeie uma nova tarefa e selecione o pipeline de DLT para o Tipo .
- No menu suspenso Pipeline, selecione um pipeline DLT existente.
- Opcionalmente, você pode acionar uma atualização completa no pipeline de DLT.
Importante
Você só pode usar pipelines acionados com a tarefa Pipeline . Não há suporte para pipelines contínuos como uma tarefa de trabalho.
Agendar um pipeline DLT com a interface de utilizador do pipeline
Adicionar um cronograma a um pipeline cria um trabalho com uma única tarefa da pipeline. Você só pode configurar gatilhos de agendamento baseados em tempo usando essa interface do usuário. Para obter opções de acionamento mais avançadas, consulte Configurar uma tarefa de pipeline de DLT com a interface de usuário de Tarefas.
Configure uma tarefa de pipeline em um trabalho agendado usando a interface do usuário do pipeline concluindo as seguintes etapas:
- Clique DLT na barra lateral.
- Clique no nome do pipeline. A interface de utilizador do pipeline é exibida.
- Clique Agendar.
- Se não existir nenhum agendamento para o pipeline, a caixa de diálogo Novo agendamento será exibida.
- Se já existirem uma ou mais agendas, clique em Adicionar agenda.
- Insira um nome exclusivo para o trabalho no campo
Nome do trabalho. - (Opcional) Atualize a frequência do agendamento.
- Selecione Avançado para obter mais opções detalhadas, incluindo sintaxe cron.
- (Opcional) Em Mais opções, configure um ou mais endereços de email para receber alertas sobre início, sucesso ou falha do pipeline.
- Clique Criar.
Observação
Se o pipeline estiver incluído em um ou mais trabalhos agendados, o botão Agenda mostrará o número de agendas existentes, por exemplo, Agenda (5).
Adicionar uma agenda a uma exibição materializada ou tabela de streaming no Databricks SQL
Exibições materializadas e tabelas de streaming definidas no Databricks SQL suportam agendamento baseado em tempo especificado em comandos CREATE ou ALTER.
Para obter detalhes, consulte os seguintes artigos: