Подготовка среды выполнения интеграции Azure–SSIS в Фабрике данных Azure

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

В этом руководстве описаны шаги по использованию портала Azure для подготовки среды выполнения интеграции Azure SQL Server Integration Services (SSIS) в Фабрике данных Azure (ADF). Среда выполнения интеграции Azure-SSIS поддерживает следующие возможности:

• выполнение пакетов, развернутых в каталоге SSIS (SSISDB), которые размещаются на сервере Базы данных SQL Azure или в Управляемом экземпляре (модель развертывания для проектов);
• выполнение пакетов, развернутых в файловой системе, службе "Файлы Azure" или базе данных SQL Server (MSDB), которые размещаются в Управляемом экземпляре SQL Azure (модель развертывания для пакетов).

После подготовки Azure-SSIS IR вы можете использовать для развертывания и запуска пакетов в Azure любые привычные средства, уже поддерживающие Azure, например SQL Server Data Tools (SSDT), SQL Server Management Studio (SSMS) или служебные программы командной строки, такие как dtutil и AzureDTExec.

См. дополнительные сведения о среде выполнения интеграции Azure SSIS.

В этом руководстве выполняются следующие шаги:

• Создали фабрику данных.
• Подготовка среды выполнения интеграции Azure SSIS.

Предварительные требования

Примечание.

Мы рекомендуем использовать модуль Azure Az PowerShell для взаимодействия с Azure. Чтобы начать работу, см. статью Установка Azure PowerShell. Дополнительные сведения см. в статье Перенос Azure PowerShell с AzureRM на Az.

• Подписка Azure. Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе.

• Сервер Базы данных SQL Azure (необязательно). Если у вас еще нет сервера базы данных, создайте его на портале Azure перед началом работы. Фабрика данных, в свою очередь, создаст экземпляр SSISDB на этом сервере базы данных.

  Мы рекомендуем создать сервер базы данных в одном регионе Azure со средой интеграции. Эта конфигурация позволяет среде выполнения интеграции записывать журналы выполнения в SSISDB, не пересекая регионы Azure.

  Помните следующее:

  • В зависимости от выбранного сервера базы данных экземпляр SSISDB может быть создан от вашего имени как отдельная база данных, как часть эластичного пула или в виде управляемого экземпляра. Доступ к нему можно получить через общедоступную сеть или после присоединения к виртуальной сети. Инструкции по выбору типа сервера базы данных для размещения SSISDB см. в разделе Сравнение Базы данных SQL и Управляемого экземпляра SQL.

    Если сервер Базы данных SQL Azure используется с правилами брандмауэра для IP-адресов или конечными точками служб в виртуальной сети или с управляемым экземпляром и частной конечной точкой для размещения SSISDB, или вам нужен доступ к локальным данным без настройки локальной среды выполнения интеграции, необходимо присоединить среду выполнения интеграции Azure-SSIS к виртуальной сети. См. сведения о создании среды выполнения интеграции Azure SSIS в виртуальной сети.

  • Убедитесь, что для сервера базы данных включен параметр Разрешить доступ к службам Azure. Этот параметр не применяется, если сервер Базы данных SQL Azure используется с правилами брандмауэра для IP-адресов или конечными точками служб для виртуальной сети или с управляемым экземпляром и частной конечной точкой для размещения базы данных SSISDB. Дополнительные сведения см. в разделе Создание правила брандмауэра. Сведения о включении этого параметра с помощью PowerShell см. в статье New-AzSqlServerFirewallRule.

  • Добавьте IP-адрес клиентского компьютера или диапазон IP-адресов, который включает IP-адрес клиентского компьютера, в список IP-адресов клиента в параметрах брандмауэра для сервера базы данных. Дополнительные сведения см. в разделе Правила брандмауэра уровня сервера Базы данных SQL Azure и уровня базы данных SQL Azure.

  • Вы можете подключиться к серверу базы данных с помощью проверки подлинности SQL с учетными данными администратора сервера или с помощью проверки подлинности Microsoft Entra с указанным управляемым удостоверением, назначаемым системой или пользователем для фабрики данных. Для последнего необходимо добавить указанное управляемое удостоверение, назначаемое системой или пользователем для фабрики данных, в группу Microsoft Entra с разрешениями на доступ к серверу базы данных. Дополнительные сведения см. в статье "Создание azure-SSIS IR с помощью проверки подлинности Microsoft Entra".

  • Убедитесь, что на сервере базы данных еще нет экземпляра SSISDB. При подготовке Azure-SSIS IR не поддерживается использование существующего экземпляра SSISDB.

Примечание.

Список регионов Azure, в которых сейчас доступны Фабрика данных и Azure-SSIS IR, см. на странице доступности продуктов по регионам.

Создание фабрики данных

Чтобы создать фабрику данных с помощью портала Azure, следуйте пошаговым инструкциям. После создания выберите действие Закрепить на панели мониторинга, чтобы организовать быстрый доступ к ней.

Создав фабрику данных, откройте страницу сводных сведений о ней на портале Azure. Щелкните плитку Open Фабрика данных Azure Studio, чтобы открыть страницу "Начало работы" на отдельной вкладке. Там можно продолжить создание среды выполнения интеграции Azure-SSIS.

Создание среды выполнения интеграции Azure SSIS.

В Фабрике данных Azure

1. На домашней странице выберите плитку Настройка служб SSIS.

   

2. Остальные шаги описаны в разделе Подготовка среды выполнения интеграции Azure SSIS.

Пользовательский интерфейс разработки

1. В пользовательском интерфейсе Фабрики данных Azure перейдите на вкладку Управление и на вкладку Среды выполнения интеграции, чтобы просмотреть все имеющиеся в фабрике данных среды выполнения интеграции.

   

2. Выберите Создать, чтобы создать Azure-SSIS IR и открыть панель Настройка среды выполнения интеграции.

   

3. В области Integration runtime setup выберите плитку Lift-and-shift existing SSIS packages to execute in Azure (Перенос имеющихся пакетов служб SSIS по методике lift-and-shift для выполнения в Azure), а затем нажмите Продолжить.

   

4. Остальные шаги описаны в разделе Подготовка среды выполнения интеграции Azure SSIS.

Подготовка среды выполнения интеграции Azure SSIS

Область Настройка среды выполнения интеграции содержит три страницы, на которых можно последовательно настроить общие параметры, параметры развертывания и дополнительные параметры.

Страница "Общие параметры"

На странице Общие параметры на панели Настройка среды выполнения интеграции выполните описанные ниже действия.

1. В поле Имя введите имя среды выполнения интеграции.

2. В поле Описание введите описание среды выполнения интеграции.

3. В поле Расположение введите расположение среды выполнения интеграции. Здесь отображаются только поддерживаемые расположения. Для узла SSISDB сервера базы данных рекомендуется выбирать одинаковые расположения.

4. В раскрывающемся списке Размер узла выберите размер узла кластера среды выполнения интеграции. Отображаются только поддерживаемые размеры узла. Если вы планируете использовать пакеты с высокими требованиями к количеству компьютеров или объему памяти, выберите большой размер узла (увеличение масштаба).

5. В поле Номер узла введите количество узлов в кластере среды выполнения интеграции. Отображается только поддерживаемое число узлов. Если нужно запускать несколько пакетов в параллельном режиме, выберите большой кластер с большим числом узлов (с поддержкой горизонтального увеличения масштаба).

6. Для выпуска или лицензии выберите выпуск SQL Server для среды выполнения интеграции: Standard или Enterprise. Если в среде выполнения интеграции вы будете использовать расширенные функции, выберите SQL Server Enterprise.

7. Для сохранения денег выберите параметр Преимущество гибридного использования Azure для среды выполнения интеграции: да или нет. Если для экономии вы намерены использовать гибридный режим с собственной лицензией SQL Server по программе Software Assurance, выберите Да.

8. Выберите Продолжить.

Страница "Параметры развертывания"

В области настройки среды выполнения интеграции на странице Параметры развертывания доступны параметры создания SSISDB и (или) хранилищ пакетов Azure-SSIS IR.

Создание SSISDB

На странице параметров развертывания области установки среды выполнения интеграции установите флажок "Создать каталог служб SSIS( SSISDB), размещенный на сервере База данных SQL Azure/Управляемый экземпляр для хранения проектов, пакетов, сред и журналов выполнения в следующих сценариях:

• Модель развертывания проекта. Вы развертываете пакеты в SSISDB.

• Независимо от модели развертывания, используя агент SQL Server, размещенную Управляемый экземпляр SQL Azure для оркестрации или планирования выполнения пакетов.

  Дополнительные сведения см. в статье о планировании выполнения пакетов SSIS с помощью агента Управляемого экземпляра SQL Azure.

В приведенном ниже сценарии не требуется создавать SSISDB и не выбирать флажок:

• Модель развертывания пакетов и не использование агент SQL Server, размещенной Управляемый экземпляр SQL Azure для оркестрации или планирования выполнения пакета.

  Вы развертываете пакеты в файловой системе, Файлы Azure или базе данных SQL Server (MSDB), размещенной в Управляемый экземпляр SQL Azure (модель развертывания пакетов), и используете конвейер фабрики данных для оркестрации или планирования выполнения пакетов.

Если этот флажок установлен, выполните приведенные ниже инструкции, чтобы предоставить собственный сервер базы данных для размещения базы данных SSISDB, которую мы создадим и которой будем управлять от вашего имени.

1. В раскрывающемся списке Подписка выберите подписку Azure, которая соответствует серверу базы данных узла SSISDB.

2. В раскрывающемся списке Расположение выберите расположение сервера базы данных узла SSISDB. Для среды выполнения интеграции рекомендуется выбирать одинаковые расположения.

3. В раскрывающемся списке Catalog Database Server Endpoint (Конечная точка сервера базы данных каталога) выберите конечную точку сервера базы данных узла SSISDB.

   В зависимости от выбранного сервера базы данных экземпляр SSISDB может быть создан от вашего имени как отдельная база данных, как часть эластичного пула или в виде управляемого экземпляра. Доступ к нему можно получить через общедоступную сеть или после присоединения к виртуальной сети. Инструкции по выбору типа сервера базы данных для размещения SSISDB см. в разделе Сравнение Базы данных SQL и Управляемого экземпляра SQL.

   Если выбран сервер Базы данных SQL Azure с правилами брандмауэра для IP-адресов или конечными точками служб в виртуальной сети или с управляемым экземпляром и частной конечной точкой для размещения SSISDB, или вам нужен доступ к локальным данным без настройки локальной среды выполнения интеграции, необходимо присоединить среду выполнения интеграции Azure-SSIS к виртуальной сети. См. сведения о создании среды выполнения интеграции Azure SSIS в виртуальной сети.

4. Выберите проверку подлинности Microsoft Entra с системным управляемым удостоверением фабрики данных или используйте проверку подлинности Microsoft Entra с управляемым удостоверением, назначенным пользователем для фабрики данных, чтобы выбрать метод проверки подлинности Microsoft Entra для Azure-SSIS IR для доступа к серверу базы данных, на котором размещен SSISDB. Не устанавливайте эти флажки, чтобы выбрать способ проверки подлинности SQL.

   При выборе любого из флажков необходимо добавить указанное управляемое удостоверение, назначаемое системой или пользователем, в группу Microsoft Entra с разрешениями на доступ к серверу базы данных. Если выбрать проверку подлинности Microsoft Entra с управляемым удостоверением, назначаемым пользователем для фабрики данных, можно выбрать все существующие учетные данные, созданные с помощью указанных управляемых удостоверений, назначенных пользователем, или создать новые. Дополнительные сведения см. в статье "Создание azure-SSIS IR с помощью проверки подлинности Microsoft Entra".

5. В поле Имя администратора введите имя пользователя SQL для проверки подлинности сервера базы данных, на котором размещается SSISDB.

6. В поле Пароль администратора введите пароль проверки подлинности SQL для сервера базы данных, на котором размещается SSISDB.

7. Установите флажок Использовать двойную резервную пару Azure-SSIS Integration Runtime с отработкой отказа SSISDB, чтобы настроить двойную резервную пару Azure-SSIS Integration Runtime, которая работает синхронно с группой отработки отказа Базы данных SQL Azure или Управляемого экземпляра для обеспечения непрерывности бизнес-процессов и аварийного восстановления.

   Если вы установили этот флажок, введите имя для идентификации своей пары основной и дополнительной сред Azure-SSIS IR в текстовом поле Имя двойной резервной пары. При создании основной и дополнительной сред Azure-SSIS IR вам нужно ввести одно и то же имя пары.

   Дополнительные сведения см. в статье Настройка среды Azure-SSIS IR для обеспечения непрерывности бизнес-процессов и аварийного восстановления.

8. В поле Каталог уровней служб базы данных выберите уровень служб для сервера базы данных, на котором будет размещаться SSISDB. Это может быть уровень "Базовый", "Стандартный", "Премиум" или имя эластичного пула.

Выберите Проверить подключение, если это применимо, и в случае успеха нажмите Продолжить.

Создание хранилищ пакетов Azure-SSIS IR

В области настройки среды выполнения интеграции на странице Параметры развертывания установите флажок Create package stores to manage your packages that are deployed into file system/Azure Files/SQL Server database (MSDB) hosted by Azure SQL Managed Instance (Создать хранилища пакетов для управления пакетами, развернутыми в файловой системе, службе "Файлы Azure" или базе данных SQL Server (MSDB), размещенной в Управляемом экземпляре Azure SQL), чтобы выбрать, следует ли управлять пакетами, развернутыми в MSDB, файловой системе или в службе "Файлы Azure" (модель развертывания для пакетов), с использованием хранилищ пакетов Azure-SSIS IR.

Хранилище пакетов Azure-SSIS IR позволяет импортировать, экспортировать, удалять и запускать пакеты, а также отслеживать пакеты и прекращать их выполнение с помощью SSMS, как и прежнее хранилище пакетов SSIS. Дополнительные сведения см. в статье Управление пакетами SSIS с помощью хранилищ пакетов Azure-SSIS IR.

Если этот флажок установлен, можно добавить несколько хранилищ пакетов в Azure-SSIS IR, выбрав Создать. И наоборот, одно хранилище пакетов может совместно использоваться несколькими Azure-SSIS IR.

На панели Добавление хранилища данных выполните описанные ниже действия.

1. В поле Имя хранилища пакетов введите имя своего хранилища пакетов.

2. Для параметра Связанная служба хранилища пакетов выберите имеющуюся связанную службу, в которой хранятся сведения о доступе к файловой системе, службе "Файлы Azure" и Управляемому экземпляру Azure SQL, где развернуты ваши пакеты, или создайте новую, выбрав Создать. На панели Новая связанная служба выполните описанные ниже действия.

   Примечание.

   Для доступа к Файлам Azure можно использовать связанные службы хранилища файлов Azure или файловой системы. Если вы используете связанную службу хранилища файлов Azure, хранилище пакетов Azure-SSIS IR будет поддерживать только базовый способ проверки подлинности (не ключ учетной записи и не URI SAS).

   

   1. В поле Имя введите имя своей связанной службы.

   2. В поле Описание введите описание связанной службы.

   3. Для параметра Тип выберите Файловое хранилище Azure, Управляемый экземпляр SQL Azure или Файловая система.

   4. Можете пропустить Подключаться с помощью среды выполнения интеграции, так как мы всегда используем вашу среду Azure-SSIS IR для получения сведений о доступе для хранилищ пакетов.

   5. Если вы выбрали вариант Хранилище файлов Azure, то для параметра Способ проверки подлинности выберите значение Базовая, а затем выполните указанные ниже шаги.

      1. Для параметра Метод выбора учетных записей выберите Из подписки Azure или Вводить вручную.

      2. Если вы выбрали Из подписки Azure, выберите соответствующие значения в полях Подписка Azure, Имя учетной записи хранилища и Общая папка.

      3. Если вы выбрали Вводить вручную, введите \\<storage account name>.file.core.windows.net\<file share name> для Узел, Azure\<storage account name> для Имя пользователя и <storage account key> для Пароль или выберите Azure Key Vault, где он хранится в секретности.

   6. Если вы выбрали Управляемый экземпляр SQL Azure, выполните описанные ниже действия.

      1. Выберите вариант Строка подключения или свое хранилище Azure Key Vault, где она хранится в виде секрета.

      2. При выборе Строка подключения выполните описанные ниже действия.

         1. Если вы выбрали вариант From Azure subscription (Из подписки Azure) в разделе Account selection method (Метод выбора учетных записей), задайте соответствующие значения Подписка Azure, Имя сервера, Тип конечной точки и Имя базы данных. Если вы выбрали Enter manually (Вводить вручную), выполните приведенные ниже шаги.

            1. Для параметра Полное доменное имя введите <server name>.<dns prefix>.database.windows.net или <server name>.public.<dns prefix>.database.windows.net,3342 в качестве частной или общедоступной конечной точки вашего Управляемого экземпляра SQL Azure соответственно. Если ввести частную конечную точку, параметр Тестировать подключение будет неприменим, так как пользовательский интерфейс ADF не может связаться с ним.

            2. В поле Имя базы данных введите msdb.

         2. В поле Тип проверки подлинности выберите Проверка подлинности SQL, Управляемое удостоверение, Субъект-служба или Управляемое удостоверение, назначаемое пользователем.

            • Если вы выбрали Проверка подлинности SQL, введите соответствующие значения в поля Имя пользователя и Пароль или выберите ваш Azure Key Vault, где он хранится в секретности.

            • Если вы выбрали Управляемое удостоверение, предоставьте своему управляемому удостоверению ADF, назначаемому системой, доступ к Управляемому экземпляру SQL Azure.

            • Если вы выбрали Субъект-служба, введите соответствующие значения в поля Идентификатор субъекта-службы и Ключ субъект-службы или выберите свой Azure Key Vault, где он хранится в секретности.

            • Если вы выбрали Управляемое удостоверение, назначаемое пользователем, предоставьте своему управляемому удостоверению ADF, назначаемому пользователем, доступ к Управляемому экземпляру SQL Azure. Затем можно выбрать любые существующие учетные данные, созданные с помощью управляемых удостоверений, назначаемых пользователем, или создать новые.

   7. Если вы выбрали Файловая система, в поле Узел введите UNC-путь папки, в которую развернуты ваши пакеты, а также введите соответствующие значения в полях Имя пользователя и Пароль или выберите свой Azure Key Vault, где он хранится в секретности.

   8. Если применимо, выберите Тестировать подключение, и если результат будет успешным, выберите Создать.

3. Добавленные хранилища пакетов будут отображаться на странице Параметры развертывания. Чтобы удалить их, установите соответствующие флажки, а затем выберите Удалить.

Выберите Проверить подключение, если это применимо, и в случае успеха нажмите Продолжить.

Страница "Дополнительные параметры"

На странице Расширенные параметры на панели Настройка среды выполнения интеграции выполните описанные ниже действия.

1. В раскрывающемся списке Максимальное количество параллельных выполнений на каждом узле выберите максимальное количество пакетов, которые будут выполняться одновременно на одном узле кластера интегрированной среды выполнения. Отображается только поддерживаемое число пакетов. Если возникла необходимость использовать больше одного ядра для запуска большого пакета с высокими требованиями к вычислительным ресурсам или памяти, выберите меньшее число. Более высокое число позволит запустить несколько небольших пакетов на одном ядре.

2. Установите флажок Customize your Azure-SSIS Integration Runtime with additional system configurations/component installations (Настроить для Azure-SSIS Integration Runtime дополнительные конфигурации системы и (или) установки компонентов), чтобы добавить стандартные (быстрые) пользовательские настройки для Azure-SSIS IR. См. сведения о пользовательской установке для среды выполнения интеграции Azure-SSIS.

3. Установите флажок Select a VNet for your Azure-SSIS Integration Runtime to join, allow ADF to create certain network resources, and optionally bring your own static public IP addresses (Выбрать виртуальную сеть для присоединения Azure-SSIS Integration Runtime, позволить Фабрике данных Azure создавать некоторые сетевые ресурсы и (необязательно) предоставить собственные общедоступные статические IP-адреса), чтобы присоединить Azure-SSIS IR к виртуальной сети.

   Его следует установить, если сервер Базы данных SQL Azure используется с правилами брандмауэра для IP-адресов или конечными точками служб в виртуальной сети или с управляемым экземпляром и частной конечной точкой для размещения SSISDB или вам нужен доступ к локальным данным без настройки локальной среды выполнения интеграции. См. сведения о создании среды выполнения интеграции Azure SSIS в виртуальной сети.

4. Установите флажок Set up Self-Hosted Integration Runtime as a proxy for your Azure-SSIS Integration Runtime (Настроить локальную среду выполнения интеграции в качестве прокси-сервера для Azure-SSIS Integration Runtime), если вы хотите использовать локальную среду выполнения интеграции в качестве прокси-сервера для Azure-SSIS IR. См. подробнее о настройке автономной среды выполнения интеграции в качестве прокси-сервера.

5. Выберите Продолжить.

На странице Сводка области Настройка среды выполнения интеграции проверьте все параметры подготовки, добавьте в закладки рекомендуемые ссылки на документацию и выберите Создать, чтобы запустить создание среды для выполнения интеграции.

Примечание.

С исключением времени, затраченного на пользовательскую установку, и при условии, что среда выполнения интеграции SSIS не использует стандартное внедрение виртуальной сети, в большинстве случаев этот процесс завершится в течение 5 минут.

Если вы используете SSISDB, Фабрика данных Azure подключится к серверу базы данных для подготовки SSISDB.

При подготовке Azure-SSIS IR также устанавливается распространяемый компонент Access и пакет функций Azure для служб SSIS. Эти компоненты обеспечивают подключение к файлам Excel или Access и другим источникам данных Azure помимо тех, которые уже поддерживаются встроенными компонентами. Дополнительные сведения о встроенных и предварительно установленных компонентах см. в статье Встроенные и предварительно установленные компоненты в Azure-SSIS IR. Дополнительные сведения о других компонентах, доступных для установки, см. в руководстве по пользовательской установке для среды выполнения интеграции Azure-SSIS.

Панель "Подключения"

На панели Подключения центра Управление перейдите на страницу Среды выполнения интеграции и выберите Обновить.

Вы можете изменить или перенастроить свою Azure-SSIS IR, выбрав ее имя. С помощью соответствующих кнопок можно выполнять мониторинг, запуск, остановку или удаление Azure-SSIS IR, автоматически создавать конвейер ADF с помощью действия "Выполнение пакета SSIS" для запуска в Azure-SSIS IR, а также просматривать код JSON и полезные данные Azure-SSIS IR. Изменить или удалить Azure-SSIS IR можно только после ее остановки.

Развертывание пакетов служб SSIS.

Если вы используете SSISDB, можете развернуть в нее свои пакеты и запустить их в Azure-SSIS IR с помощью средств SSDT или SSMS с поддержкой Azure. Эти средства подключаются к серверу базы данных через конечную точку сервера.

• Для сервера Базы данных SQL Azure используется формат конечной точки <server name>.database.windows.net.
• Для управляемого экземпляра с частной конечной точкой используется формат <server name>.<dns prefix>.database.windows.net.
• Для управляемого экземпляра с общедоступной конечной точкой используется формат <server name>.public.<dns prefix>.database.windows.net,3342.

Если вы не используете SSISDB, вы можете развертывать пакеты в файловой системе, службе "Файлы Azure" или базе данных MSDB, размещенной в Управляемом экземпляре SQL Azure, и запускать их в Azure-SSIS IR с помощью программ командной строки dtutil и AzureDTExec.

Дополнительные сведения см. в статье Развертывание проектов и пакетов служб Integration Services (SSIS).

В обоих случаях вы также можете запустить развернутые пакеты в Azure-SSIS IR, используя действие "Выполнить пакеты служб SSIS" в конвейерах Фабрики данных Azure. См. сведения о запуске выполнения пакета SSIS с использованием действия Фабрики данных.

Ознакомьтесь также со следующей документацией по SSIS:

• Руководство. Развертывание и выполнение пакета служб SQL Server Integration Services (SSI) в Azure
• Подключение к каталогу SSIS (SSISDB) в Azure
• Планирование выполнения пакетов служб SQL Server Integration Services (SSIS), развернутых в Azure
• Connect to on-premises data sources with Windows Authentication (Подключение к локальным источникам данных с помощью аутентификации Windows)

Связанный контент

Дополнительные сведения о настройке Azure-SSIS Integration Runtime см. в следующей статье:

Персонализация Azure-SSIS IR