Metadados de gatilho de referência em execuções de pipeline

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Este artigo descreve como os metadados do gatilho, como a hora de início do gatilho, podem ser usados em uma execução de pipeline.

Às vezes, um pipeline precisa entender e ler metadados do gatilho que o invoca. Por exemplo, com uma execução de gatilho de janela de tombamento, com base na hora de início e término da janela, o pipeline processa diferentes fatias de dados ou pastas. No Azure Data Factory, usamos parametrização e variáveis do sistema para passar metadados de gatilhos para pipelines.

Esse padrão é especialmente útil para gatilhos de janela de tombamento, onde o gatilho fornece a hora de início e término da janela, e gatilhos de evento personalizados, onde o gatilho analisa e processa valores em um campo de dados personalizado.

Nota

Diferentes tipos de gatilho fornecem diferentes informações de metadados. Para obter mais informações, consulte Variáveis do sistema.

IU do Data Factory

Esta seção mostra como passar informações de metadados de gatilhos para pipelines, dentro da interface do usuário (UI) do Data Factory.

1. Vá para a tela de criação e edite um pipeline.

2. Selecione a tela em branco para exibir as configurações do pipeline. Não selecione nenhuma atividade. Talvez seja necessário puxar o painel de configuração da parte inferior da tela, pois ele pode estar recolhido.

3. Selecione a guia Parâmetros e selecione + Novo para adicionar parâmetros.

   

4. Adicione gatilhos ao pipeline selecionando + Trigger.

5. Crie ou anexe um gatilho ao pipeline e selecione OK.

6. Depois de selecionar OK, outra página de gatilho Novo aparece com uma lista dos parâmetros especificados para o pipeline, conforme mostrado na captura de tela a seguir. Nessa página, preencha os metadados do gatilho para cada parâmetro. Use o formato definido em Variáveis do sistema para recuperar informações de gatilho. Você não precisa preencher as informações para todos os parâmetros. Basta preencher os que assumirão valores de metadados de gatilho. Por exemplo, aqui atribuímos a hora de início da execução do gatilho a parameter_1.

   

7. Para usar os valores no pipeline, utilize parâmetros, como @pipeline().parameters.parameterName, não variáveis de sistema, em definições de pipeline. Por exemplo, neste caso, para ler a hora de início do gatilho, fazemos referência @pipeline().parameters.parameter_1a .

Esquema do JSON

Para passar informações de gatilho para execuções de pipeline, tanto o gatilho quanto o JSON de pipeline precisam ser atualizados com a parameters seção.

Definição de pipeline

properties Na seção , adicione definições de parâmetros à parameters seção.

{
    "name": "demo_pipeline",
    "properties": {
        "activities": [
            {
                "name": "demo_activity",
                "type": "WebActivity",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [],
                "typeProperties": {
                    "url": {
                        "value": "@pipeline().parameters.parameter_2",
                        "type": "Expression"
                    },
                    "method": "GET"
                }
            }
        ],
        "parameters": {
            "parameter_1": {
                "type": "string"
            },
            "parameter_2": {
                "type": "string"
            },
            "parameter_3": {
                "type": "string"
            },
            "parameter_4": {
                "type": "string"
            },
            "parameter_5": {
                "type": "string"
            }
        },
        "annotations": [],
        "lastPublishTime": "2021-02-24T03:06:23Z"
    },
    "type": "Microsoft.DataFactory/factories/pipelines"
}

Definição do gatilho

Na seção , atribua pipelines valores de parâmetro na parameters seção . Você não precisa preencher as informações para todos os parâmetros. Basta preencher os que assumirão valores de metadados de gatilho.

{
    "name": "trigger1",
    "properties": {
        "annotations": [],
        "runtimeState": "Started",
        "pipelines": [
            {
                "pipelineReference": {
                    "referenceName": "demo_pipeline",
                    "type": "PipelineReference"
                },
                "parameters": {
                    "parameter_1": "@trigger().startTime"
                }
            }
        ],
        "type": "ScheduleTrigger",
        "typeProperties": {
            "recurrence": {
                "frequency": "Minute",
                "interval": 15,
                "startTime": "2021-03-03T04:38:00Z",
                "timeZone": "UTC"
            }
        }
    }
}

Usar informações de gatilho em um pipeline

Para usar os valores em um pipeline, utilize parâmetros, como @pipeline().parameters.parameterName, não variáveis de sistema, em definições de pipeline.

Conteúdos relacionados

Para obter mais informações sobre gatilhos, consulte Execução e gatilhos de pipeline.