Ссылки на метаданные триггера при выполнении конвейера

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

В этой статье описывается, как метаданные триггера, такие как время начала триггера, можно использовать в выполнении конвейера.

Иногда конвейеру необходимо понять и считывать метаданные из триггера, вызывающего его. Например, при запуске триггера переворачивающегося окна в зависимости от времени начала и окончания окна конвейер обрабатывает различные срезы данных или папки. В Фабрика данных Azure мы используем параметризацию и системные переменные для передачи метаданных из триггеров в конвейеры.

Этот шаблон особенно полезен для переворачивающегося триггера, где триггер предоставляет время начала и окончания окна, а также пользовательские триггеры событий, где триггер анализирует и обрабатывает значения в настраиваемом поле данных.

Примечание.

Различные типы триггеров предоставляют разные сведения о метаданных. Дополнительные сведения см. в разделе "Системные переменные".

Пользовательский интерфейс Фабрики данных

В этом разделе показано, как передавать сведения о метаданных из триггеров в конвейеры в пользовательском интерфейсе фабрики данных.

1. Перейдите на холст разработки и измените конвейер.

2. Выберите пустой холст, чтобы открыть параметры конвейера. Не выбирайте какие-либо действия. Возможно, потребуется извлечь панель параметров из нижней части холста, так как она может быть свернута.

3. Выберите вкладку "Параметры" и нажмите кнопку "+ Создать", чтобы добавить параметры.

   

4. Добавьте триггеры в конвейер, выбрав +Триггер.

5. Создайте или подключите триггер к конвейеру и нажмите кнопку "ОК".

6. После нажатия кнопки "ОК" появится другая страница триггера со списком параметров, указанных для конвейера, как показано на следующем снимке экрана. На этой странице заполните метаданные триггера для каждого параметра. Используйте формат, определенный в системных переменных , чтобы получить сведения о триггере. Вам не нужно заполнять сведения для всех параметров. Просто заполните те, которые будут предполагать, что значения метаданных активируются. Например, здесь мы назначаем время parameter_1запуска триггера.

   

7. Чтобы использовать значения в конвейере, используйте такие параметры, как, например@pipeline().parameters.parameterName, системные переменные, в определениях конвейера. Например, в этом случае для чтения времени начала триггера мы ссылаемся @pipeline().parameters.parameter_1на .

Схема JSON

Чтобы передать сведения о триггере в выполнение конвейера, необходимо обновить триггер и JSON конвейера parameters с помощью раздела.

Определение конвейера

properties В разделе добавьте определения параметров в parameters раздел.

{
    "name": "demo_pipeline",
    "properties": {
        "activities": [
            {
                "name": "demo_activity",
                "type": "WebActivity",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [],
                "typeProperties": {
                    "url": {
                        "value": "@pipeline().parameters.parameter_2",
                        "type": "Expression"
                    },
                    "method": "GET"
                }
            }
        ],
        "parameters": {
            "parameter_1": {
                "type": "string"
            },
            "parameter_2": {
                "type": "string"
            },
            "parameter_3": {
                "type": "string"
            },
            "parameter_4": {
                "type": "string"
            },
            "parameter_5": {
                "type": "string"
            }
        },
        "annotations": [],
        "lastPublishTime": "2021-02-24T03:06:23Z"
    },
    "type": "Microsoft.DataFactory/factories/pipelines"
}

Определение триггера

pipelines В разделе назначьте значения параметров в parameters разделе. Вам не нужно заполнять сведения для всех параметров. Просто заполните те, которые будут предполагать, что значения метаданных активируются.

{
    "name": "trigger1",
    "properties": {
        "annotations": [],
        "runtimeState": "Started",
        "pipelines": [
            {
                "pipelineReference": {
                    "referenceName": "demo_pipeline",
                    "type": "PipelineReference"
                },
                "parameters": {
                    "parameter_1": "@trigger().startTime"
                }
            }
        ],
        "type": "ScheduleTrigger",
        "typeProperties": {
            "recurrence": {
                "frequency": "Minute",
                "interval": 15,
                "startTime": "2021-03-03T04:38:00Z",
                "timeZone": "UTC"
            }
        }
    }
}

Использование сведений о триггере в конвейере

Чтобы использовать значения в конвейере, используйте такие параметры, как, например@pipeline().parameters.parameterName, системные переменные, в определениях конвейера.

Связанный контент

Дополнительные сведения об триггерах см. в разделе "Выполнение конвейера" и "Триггеры".