Добавление параметров в компоненты фабрики данных

  • 7 мин

Параметризация связанных служб в Фабрике данных Azure

В Фабрике данных Azure можно параметризовать связанную службу для передачи динамических значений во время выполнения. Примером использования этой возможности может быть подключение к нескольким разным базам данных на одном сервере SQL Server. В этом случае можно параметризировать имя базы данных в определении связанной службы. Преимущество в том, что вам не придется создавать отдельную связанную службу для каждой базы данных на сервере SQL Server.

Можно параметризовать и другие свойства связанной службы, например имя пользователя.

Если вы решили параметризовать связанные службы в Фабрике данных Azure, это можно сделать в ее пользовательском интерфейсе, на портале Azure или в любом программном интерфейсе на ваш выбор.

Если вы решили создать связанную службу через пользовательский интерфейс, в фабрике данных есть встроенные возможности параметризации для некоторых соединителей:

  • Amazon Redshift
  • Azure Cosmos DB (SQL API)
  • База данных Azure для MySQL
  • База данных SQL Azure
  • Azure Synapse Analytics (ранее — Хранилище данных SQL)
  • MySQL
  • Oracle;
  • SQL Server
  • Базовый HTTP-запрос
  • Базовый протокол REST

Параметры параметризации доступны в колонке создания и изменения связанной службы.

Настройка параметров связанной службы

Если встроенная параметризация недоступна, так как вы используете другой тип соединителя, вы можете изменить данные в формате JSON через пользовательский интерфейс.

В колонке создания или изменения связанной службы разверните внизу узел Дополнительно, установите флажок Указать динамическое содержимое в формате JSON и укажите полезные данные JSON для связанной службы.

Изменение параметров в формате JSON в пользовательском интерфейсе

Кроме того, изменить данные в формате JSON после создания связанной службы без параметризации можно так: в центре управления выберите элемент Связанные службы и найдите нужную связанную службу. Затем нажмите кнопку {} ("Код"), чтобы изменить JSON.

Глобальные параметры в Фабрике данных Azure

Задав глобальные параметры в конвейере Фабрики данных Azure, можно затем использовать эти константы в выражениях конвейера. Примером использования глобальных параметров может служить ситуация, когда имеется несколько конвейеров с идентичными именами и значениями параметров.

Если в Фабрике данных Azure применяется процесс непрерывной поставки и непрерывной интеграции (CI/CD), глобальные параметры можно при желании переопределять для каждой создаваемой среды.

Создание глобальных параметров в Фабрике данных Azure

Чтобы создать глобальный параметр, перейдите на вкладку Глобальные параметры в разделе Управление. Выберите Создать, чтобы открыть боковую панель меню.

На боковой панели меню введите имя, выберите тип данных и укажите значение параметра.

После создания глобального параметра его можно изменить, щелкнув его имя. Чтобы изменить сразу несколько параметров, выберите Изменить все.

Настройка глобальных параметров в Фабрике данных Azure

Использование глобальных параметров в конвейере

Глобальные параметры в конвейере Фабрики данных Azure в основном используются в выражениях конвейера. Например, если в конвейере есть ссылка на ресурс, например набор или поток данных, вы можете передать значение глобального параметра через параметр resource. Команда или ссылка на глобальные параметры в Фабрика данных Azure потоках следующим образом: pipeline().globalParameters.<parameterName>

Глобальные параметры в CI/CD

Интегрировать глобальные параметры в конвейер с помощью CI/CD в Фабрике данных Azure можно двумя способами:

  • включите глобальные параметры в шаблон Azure Resource Manager;
  • разверните глобальные параметры с помощью скрипта PowerShell.

Как правило, при использовании методик CI/CD рекомендуется включать глобальные параметры в шаблон Azure Resource Manager. Причина кроется в наличии интеграции платформенной функциональности с CI/CD, благодаря которой глобальные параметры добавляются в качестве параметра шаблона Azure Resource Manager при внесении изменений в используемые среды.

Чтобы включить глобальные параметры в шаблон Azure Resource Manager, перейдите в центр управления. Имейте в виду, что при добавлении глобальных параметров в шаблон Azure Resource Manager добавляется параметр на уровне Фабрики данных Azure, который может переопределять другие параметры, например конфигурации GIT.

Необходимость в развертывании глобальных параметров с помощью скрипта PowerShell может быть вызвана тем, что указанные выше параметры должны быть включены в среде с повышенными привилегиями, например в среде для пользовательского приемочного тестирования или рабочей среде.

Параметризация потоков данных для сопоставления

В Фабрике данных Azure можно использовать потоки данных для сопоставления, а следовательно, и параметры. Если параметры заданы в определении потока данных, их можно использовать в выражениях. Значения параметров задаются вызывающим конвейером с помощью действия Execute Data Flow.

Задавать значения в выражениях действий потока данных можно тремя способами:

  • задайте динамическое значение с помощью языка выражений для потока управления конвейером;
  • задайте динамическое значение с помощью языка выражений потока данных;
  • задайте статическое литеральное значение с помощью любого из этих двух языков выражений.

Потоки данных для сопоставления параметризуются с целью повышения их универсальности и гибкости, а также для того, чтобы их можно было использовать многократно.

Создание параметров в потоке данных

Чтобы добавить параметры в поток данных, щелкните в пустой части холста потока. Вы увидите общие свойства.

В области параметров имеется вкладка Параметр.

Чтобы создать параметр, выберите Создать. Для каждого параметра необходимо указать имя, выбрать тип и при необходимости задать значение по умолчанию.

Глобальные параметры в потоке данных Фабрики данных Azure

Назначение параметров из конвейера в потоке данных для сопоставления

Если вы создали поток данных и задали в нем параметры, его можно выполнить из конвейера с помощью действия Execute Data Flow.

После добавления этого действия на холст конвейера параметры потока данных можно найти на вкладке Параметры действия.

Присвоив значения параметрам, вы сможете использовать их в выражениях конвейера или выражениях потока данных в зависимости от типов Spark. Эти два типа параметров, то есть параметры выражений конвейера и потока данных, можно также использовать в сочетании.