Управление средой выполнения интеграции
В фабрике данных действия определяют выполняемые операции. Связанная служба обозначает целевое хранилище данных или службу вычислений. Среда выполнения интеграции обеспечивает инфраструктуру для действий и связанных служб.
На среду выполнения интеграции ссылаются связанные службы или действия. Также она предоставляет вычислительную среду, в которой действие выполняется или из которой оно отправляется. Такая схема позволяет выполнять действия в регионе, который максимально близко расположен к целевому хранилищу данных или службе вычислений, обеспечивает высокую производительность и соблюдение требований по безопасности и соответствию.
Другими словами, среда выполнения интеграции (IR) — это вычислительная инфраструктура, которую использует Фабрика данных Azure. Она предоставляет следующие возможности для интеграции данных в различных сетевых средах.
- Поток данных. Выполнение потока данных в управляемой вычислительной среде Azure.
- Перемещение данных. Копирование данных из хранилищ данных в общедоступной сети и хранилищ данных в частной сети (локальной или виртуальной частной сети). Поддерживаются встроенные соединители, преобразование форматов, сопоставление столбцов, высокопроизводительная и масштабируемая передача данных.
- Диспетчеризация действий. Диспетчеризация и мониторинг действий по преобразованию в разных вычислительных службах, таких как Azure Databricks, Azure HDInsight, Машинное обучение Azure, База данных SQL Azure, SQL Server и другие.
- Выполнение пакетов служб SSIS. Выполнение пакетов служб SQL Server Integration Services (SSIS) в собственном коде в управляемой вычислительной среде Azure.
При создании каждого экземпляра Фабрики данных Azure создается среда выполнения интеграции по умолчанию, которая поддерживает операции с облачными хранилищами данных и вычислительными службами в общедоступной сети. Это можно увидеть, если для среды выполнения интеграции задано автоматическое разрешение.
Типы сред выполнения интеграции
Фабрика данных предлагает три типа сред выполнения интеграции. Вы можете выбрать тот, который отвечает вашим потребностям в интеграции данных и сетевой среде. Эти три типа перечислены ниже.
- Azure
- Самостоятельное размещение
- Службы SSIS Azure
Можно явно определить параметр среды выполнения интеграции в свойстве connectVia. Если это свойство не задано, среда выполнения интеграции по умолчанию работает в режиме автоматического разрешения.
В следующей таблице описаны возможности и поддержка сетей для каждого типа интеграции среды выполнения.
| Тип IR | Общедоступная сеть | Частная сеть |
|---|---|---|
| Azure | Поток данных | Поток данных |
| Перемещение данных | Перемещение данных | |
| Диспетчер действий | Диспетчер действий | |
| Самостоятельное размещение | Перемещение данных | Перемещение данных |
| Диспетчеризация действий | Диспетчеризация действий | |
| Службы SSIS Azure | Выполнение пакетов служб SSIS | Выполнение пакетов служб SSIS |
Выбор используемой среды выполнения интеграции
На выбор используемой среды выполнения интеграции влияет множество факторов. Ниже приводятся рекомендации по выбору подходящей среды.
Действие копирования
Для действия копирования нужны связанные службы источника и приемника данных, которые определяют направление потока данных. Далее описан алгоритм выбора экземпляра среды выполнения интеграции, который будет выполнять копирование.
Копирование между двумя источниками данных в облаке. Когда службы источника и приемника используют Azure IR, ADF будет использовать региональную среду Azure IR, если она указана. Либо же расположение Azure IR будет определяться автоматически, если вы выберете автоматическое разрешение IR (по умолчанию), как описано в разделе о расположении среды выполнения интеграции.
Копирование между облачным источником данных и источником данных в частной сети. Если связанная служба источника или приемника использует локальную IR, действие копирования выполняется в среде в этой локальной среде.
При копировании между двумя источниками данных в частной сети каждая из связанных служб (источник и приемник) должна указывать на один и тот же экземпляр среды выполнения интеграции, который используется для выполнения копирования.
Действие поиска и получения метаданных
Действие поиска и получения метаданных выполняется в среде выполнения интеграции, ассоциированной со связанной службой хранилища данных.
Действие преобразования
Для каждого действия преобразования задается целевая связанная служба вычислений, которая указывает на определенную среду выполнения интеграции. Этот экземпляр среды выполнения интеграции будет отвечать за диспетчеризацию действия преобразования.
Действие потока данных
Действие потока данных выполняется в связанной с ним среде выполнения интеграции.