Триггеры событий хранилища конвейеров данных в фабрике данных (предварительная версия)
Введение
Распространенный вариант использования конвейеров данных фабрики данных — активировать конвейер после событий файлов, таких как прибытие файла и удаление файла. Для клиентов, переходящих из Фабрика данных Azure (ADF) в Microsoft Fabric, часто используются события хранения ADLS и блога. Новые пользователи Fabric, не знакомые с ADF, обычно могут использовать события файлов из OneLake. Триггеры в фабрике данных Fabric используют возможности платформы Fabric, включая потоки событий и триггеры Рефлектора. На холсте конструктора конвейера фабрики данных Fabric есть кнопка триггера для создания триггера для конвейера или вы можете создать триггер непосредственно из интерфейса активации Структуры.
Примечание.
Триггеры событий хранилища в настоящее время находятся в общедоступной предварительной версии.
Настройка триггеров событий хранилища в конвейере
Нажмите кнопку триггера (предварительная версия) на ленте "Главная" в верхней части окна редактора холста конвейера
Откроется панель оповещений "Задать", где можно выбрать события источника хранилища BLOB-объектов Azure.
Выберите источник и выберите события , чтобы выбрать события хранения, которые вы хотите прослушивать в триггере.
Выберите подписку Azure и учетную запись хранения BLOB-объектов.
Новый объект eventstream создается в рабочей области Fabric, поэтому не забудьте выбрать правильную рабочую область в разделе "Сведения о потоке".
Выберите Далее.
Выберите типы событий. Вы увидите, что есть много дополнительных параметров событий, которые можно выбрать, кроме созданных и удаленных файлов.
События можно отфильтровать для сопоставления файлов и папок, указав имя папки, имя файла, тип файла и контейнер, используя поле "Тема ".
Событие содержит следующие высокоуровневые данные:
Свойство Type Описание Пример source строка Полный путь к ресурсу источника событий. Это поле защищено от записи. Это значение предоставляет Сетка событий. /subscriptions/{subscription-id}/resourceGroups/Storage/providers/Microsoft.Storage/storageAccounts/my-storage-account субъект строка Определенный издателем путь к субъекту события. /blobServices/default/containers/my-file-system/blobs/new-file.txt type строка Один из зарегистрированных типов событий для этого источника событий. Microsoft.Storage.BlobCreated Время строка Время создания события с учетом времени поставщика в формате UTC. 2017-06-26T18:41:00.9584103Z id строка Уникальный идентификатор события. 00000000-0000-0000-0000-000000000000 . объект Данные события хранилища BLOB-объектов. {{Объект data}} specversion строка Версия спецификации схемы CloudEvents. 1.0 
Примечание.
Имя файла и имя папки будут частью поля "Тема ".
Вернитесь на панель конфигурации триггера, выберите рабочую область для хранения элементов триггера, имени конвейера, действия конвейера и имени триггера в качестве элемента Reflex с помощью имени элемента.
Нажмите кнопку "Создать", чтобы создать триггер. Триггер активен в конвейере и реагирует на события хранения, определенные для него.
Чтобы просмотреть триггер, перейдите в представление списка рабочей области и найдите объект Reflex по имени в браузере Fabric.
Тип объекта — Reflex.
Выберите триггер, чтобы открыть объект Reflex для просмотра и редактирования.
Задание значений выражений с именем файла триггера и именем папки
Внутри конвейера можно использовать имя пути к файлу и папке из события хранилища с помощью встроенных параметров триггера. Фабрика данных задает эти параметры при получении события хранилища. Параметры пути к BLOB-объектам и имени файла задаются активацией триггера. Выберите вкладку параметров триггера в построителе выражений внутри конвейера и фабрики данных автоматически анализирует имя файла и имена папок, что позволяет динамически добавлять их в выражение конвейера.
Эти встроенные параметры задаются из полей темы и раздела события прибывшего файла и автоматически создаются для использования в логике конвейера.
@pipeline()?.TriggerEvent?.FileName
Вы можете заметить использование объекта ? после ссылки на объект pipeline(), который используется в языке выражений конвейера для обработки значений NULL . Этот синтаксис необходим при тестировании конвейера, использующего параметры триггера, так как во время ручного тестирования параметры имени файла и папки не заданы, возвращая значение NULL. Но при активации конвейера из события файла вы увидите имя файла и имя папки, заполненные в этих полях.