Используйте Управляемый экземпляр SQL Azure с SQL Server Integration Services в Фабрике данных Azure или Azure Synapse Analytics.

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

Проекты, пакеты и рабочие нагрузки служб SQL Server Integration Services (SSIS) теперь можно переносить в облако Azure. Для управления, развертывания и выполнения проектов и пакетов SSIS, размещенных в Базе данных SQL Azure или Управляемом экземпляре SQL, вы можете использовать привычные вам инструменты, например SQL Server Management Studio (SSMS). В этой статье рассматриваются следующие вопросы, связанные с использованием Управляемого экземпляра SQL Azure в сочетании со средой выполнения интеграции Azure-SSIS (IR):

• Подготовка к работе Azure-SSIS IR с каталогом SSIS (SSISDB), размещенном в Управляемом экземпляре SQL Azure.
• Выполнение пакетов служб интеграции SQL Server с помощью задания агента Управляемого экземпляра SQL Azure.
• Очистка журналов SSISDB с помощью задания агента Управляемого экземпляра SQL Azure.
• Отработка отказа Azure-SSIS IR с помощью Управляемого экземпляра SQL Azure.
• Миграция локальных рабочих нагрузок служб SSIS в службы SSIS в ADF.

Подготовка к работе Azure-SSIS IR с каталогом SSISDB, размещенным в Управляемом экземпляре SQL Azure

Необходимые компоненты

1. Включите идентификатор Microsoft Entra в Управляемый экземпляр SQL Azure при выборе проверки подлинности Microsoft Entra.

2. Выберите способ подключения Управляемого экземпляра SQL: через частную или общедоступную конечную точку.

   • Через частную конечную точку (рекомендуется).

     1. Выберите виртуальную сеть для присоединения Azure-SSIS IR:

        • Вы можете выбрать ту же виртуальную сеть, в которой расположен управляемый экземпляр, с другой подсетью.
        • Виртуальную сеть, отличную от сети управляемого экземпляра, используя пиринг между виртуальными сетями (в том же регионе из-за ограничений глобального пиринга виртуальных сетей) или подключение между виртуальными сетями.

        Дополнительные сведения см. в статье Подключение приложения к Управляемому экземпляру SQL Azure.

     2. Настройте виртуальную сеть.

   • Через общедоступную конечную точку.

     Управляемые экземпляры SQL Azure могут подключаться через общедоступные конечные точки. Чтобы разрешить трафик между Управляемым экземпляром SQL и Azure-SSIS IR, нужно соблюдать некоторые требования к входящему и исходящему трафику:

     • Если Azure-SSIS IR расположен не в виртуальной сети (рекомендуется):

       Для Управляемого экземпляра SQL должен быть разрешен входящий трафик от Azure-SSIS IR.

       Транспортный протокол	Исходный код	Диапазон исходных портов	Назначение	Диапазон портов назначения
       TCP	Тег облачной службы Azure	*	Виртуальная сеть	3342

       Дополнительные сведения см. в разделе Разрешение общедоступного трафика конечной точки в группе безопасности сети.

     • Если Azure-SSIS IR расположен в виртуальной сети:

       Существует особый сценарий, при котором Управляемый экземпляр SQL находится в регионе, который не поддерживается средой Azure-SSIS IR, а Azure-SSIS IR находится в виртуальной сети без пиринга виртуальных сетей из-за ограничений глобального пиринга виртуальных сетей. В этом сценарии Azure-SSIS IR внутри виртуальной сети подключает Управляемый экземпляр SQL через общедоступную конечную точку. Чтобы разрешить трафик между Управляемым экземпляром SQL и Azure-SSIS IR, создайте следующие правила группы безопасности сети (NSG):

       1. Для Управляемого экземпляра SQL должен быть разрешен входящий трафик от Azure-SSIS IR.

          Транспортный протокол	Исходный код	Диапазон исходных портов	Назначение	Диапазон портов назначения
          TCP	Статический IP-адрес Azure-SSIS IR Дополнительные сведения см. в разделе об использовании собственного общедоступного IP-адреса для Azure-SSIS IR.	*	Виртуальная сеть	3342

       2. Для Azure-SSIS IR должен быть разрешен исходящий трафик к Управляемому экземпляру SQL.

          Транспортный протокол	Исходный код	Диапазон исходных портов	Назначение	Диапазон портов назначения
          TCP	Виртуальная сеть	*	IP-адрес общедоступной конечной точки Управляемого экземпляра SQL	3342

Настройка виртуальной сети

1. Разрешение пользователя. У пользователя, создающего Azure-SSIS IR, должна быть назначена роль по крайней мере в ресурсе Фабрики данных Azure с одним из следующих вариантов:

   • Использовать встроенную роль "Участник сетей". Эта роль предоставляет разрешение Microsoft.Network/*, область применения которого намного шире, чем требуется для этой задачи.
   • Создать настраиваемую роль, которая включает только нужное разрешение Microsoft.Network/virtualNetworks/*/join/action. Если вы хотите также использовать собственные общедоступные IP-адреса для среды Azure-SSIS IR при присоединении ее к виртуальной сети Azure Resource Manager, то включите в роль разрешение Microsoft.Network/publicIPAddresses/*/join/action.

2. Виртуальная сеть.

   1. Убедитесь, что группа ресурсов виртуальной сети может создавать и удалять определенные ресурсы сети Azure.

      Среда выполнения интеграции Azure SSIS должна создать определенные сетевые ресурсы в той же группе ресурсов, в которой находится виртуальная сеть. К этим ресурсам относятся:

      • подсистема балансировки нагрузки с именем <Guid>-azurebatch-cloudserviceloadbalancer;
      • группа безопасности сети с именем *<Guid>-azurebatch-cloudservicenetworksecuritygroup;
      • общедоступный IP-адрес Azure с именем -azurebatch-cloudservicepublicip.

      Эти ресурсы будут созданы при запуске Azure-SSIS IR. Они будут удалены после остановки Azure-SSIS IR. Чтобы предотвратить блокировку остановки Azure-SSIS IR, не используйте повторно эти сетевые ресурсы в других ресурсах.

   2. Убедитесь в отсутствии блокировки ресурсов в группе ресурсов и подписке, к которым принадлежит виртуальная сеть. Если вы настроили блокировку только для чтения или удаления, запуск и остановка среды Azure-SSIS IR завершатся ошибкой или она перестанет отвечать на запросы.

   3. Убедитесь, что у вас нет определения политики Azure, запрещающей создавать следующие ресурсы в группе ресурсов или подписке, к которым принадлежит виртуальная сеть:

      • Microsoft.Network/LoadBalancers
      • Microsoft.Network/NetworkSecurityGroups

   4. Для обеспечения трафика между Управляемым экземпляром SQL и Azure-SSIS IR, а также трафика, необходимого для Azure-SSIS IR, разрешите трафик по правилу группы безопасности сети (NSG).

      1. Для Управляемого экземпляра SQL должен быть разрешен входящий трафик от Azure-SSIS IR.

         Транспортный протокол	Исходный код	Диапазон исходных портов	Назначение	Диапазон портов назначения	Комментарии
         TCP	Виртуальная сеть	*	Виртуальная сеть	1433, 11000–11999	Если для политики подключения сервера Базы данных SQL задано значение Proxy вместо Redirect, требуется только порт 1433.

      2. Для Azure-SSIS IR должен быть разрешен исходящий трафик к Управляемому экземпляру SQL и другой трафик, необходимый для Azure-SSIS IR.

         Транспортный протокол	Исходный код	Диапазон исходных портов	Назначение	Диапазон портов назначения	Комментарии
         TCP	Виртуальная сеть	*	Виртуальная сеть	1433, 11000–11999	Разрешите исходящий трафик к Управляемому экземпляру SQL. Если для политики подключения задано значение Proxy вместо Redirect, требуется только порт 1433.
         TCP	Виртуальная сеть	*	AzureCloud	443	Узлы Azure-SSIS IR в виртуальной сети используют этот порт для доступа к службам Azure, например к службе хранилища Azure и Центрам событий Azure.
         TCP	Виртуальная сеть	*	Интернет	80	(Необязательно.) Узлы Azure SSIS IR в виртуальной сети используют этот порт для скачивания списка отзыва сертификатов из Интернета. Если заблокировать этот трафик, производительность при запуске IR может снизиться и вы можете потерять возможность выполнить проверку списка отзыва сертификатов для использования сертификата. Если вы хотите дополнительно сузить место назначения до определенных полных доменных имен, ознакомьтесь с настройкой определяемых пользователем маршрутов (UDR).
         TCP	Виртуальная сеть	*	Память	445	(Необязательно.) Это правило требуется только при выполнении пакета службы интеграции SQL Server, хранящегося в службе "Файлы Azure".

      3. Требование входящего трафика Azure-SSIS IR для разрешения трафика, необходимого Azure-SSIS IR.

         Транспортный протокол	Исходный код	Диапазон исходных портов	Назначение	Диапазон портов назначения	Комментарии
         TCP	BatchNodeManagement	*	Виртуальная сеть	29876, 29877 (при присоединении ir к виртуальной сети Resource Manager) 10100, 20100, 30100 (при присоединении среды выполнения интеграции к классической виртуальной сети)	Служба фабрики данных использует эти порты для взаимодействия с узлами вашей среды выполнения интеграции Azure-SSIS IR в виртуальной сети. Независимо от того, создан уровень подсети NSG или нет, Фабрика данных всегда настраивает NSG на уровне карт сетевых интерфейсов, подключенных к виртуальным машинам, на которых размещается Azure-SSIS IR. NSG уровня сетевых адаптеров на указанных портах разрешает только входящий трафик от IP-адресов Фабрики данных. Даже если эти порты доступны для интернет-трафика, трафик с IP-адресов, которые не являются IP-адресами Фабрики данных, блокируется на уровне сетевых адаптеров.
         TCP	CorpNetSaw	*	Виртуальная сеть	3389	(Необязательно.) Это правило требуется только в том случае, если служба поддержки Майкрософт предлагает клиенту открыть порт для расширенного устранения неполадок. Этот порт можно будет закрыть сразу после устранения неполадок. Тег службы CorpNetSaw позволяет использовать удаленный рабочий стол только с помощью рабочих станций с защищенным доступом в корпоративной сети Майкрософт. Этот тег службы нельзя выбрать на портале, он доступен только через Azure PowerShell или Azure CLI. В NSG уровня сетевых адаптеров порт 3389 открыт по умолчанию, и мы позволяем управлять портом 3389 в NSG на уровне подсети, в то время как Azure-SSIS IR по умолчанию отключил исходящий порт 3389 в правиле брандмауэра Windows на каждом узле IR в целях защиты.

   5. Дополнительную информацию см. в разделе о конфигурации виртуальной сети, если:

      • вы используете собственный общедоступный IP-адрес для Azure-SSIS IR;
      • вы используете собственный DNS-сервер;
      • вы используете Azure ExpressRoute или определяемый пользователем маршрут (UDR);
      • вы используете настраиваемую среду Azure-SSIS IR.

Подготовка к работе Azure-SSIS IR

1. Выберите частную или общедоступную конечную точку в Управляемом экземпляре SQL.

   При подготовке Azure-SSIS IR в приложении портала Azure или ADF на странице параметров SQL используйте частную или общедоступную конечную точку в управляемом экземпляре SQL при создании каталога SSIS (SSISDB).

   Имя узла общедоступной конечной точки имеет формат <имя_управляемого_экземпляра>.public.<зона_DNS>.database.windows.net и порт, используемый для подключения, 3342.

   

2. При применении выберите проверку подлинности Microsoft Entra.

   

   Дополнительные сведения о том, как включить проверку подлинности Microsoft Entra, см. в разделе "Включить идентификатор Microsoft Entra" в Управляемый экземпляр SQL Azure.

3. При применении параметров присоедините Azure-SSIS IR к виртуальной сети.

   На странице дополнительных параметров выберите виртуальную сеть и подсеть для присоединения.

   В той же виртуальной сети, где расположен Управляемый экземпляр SQL, выберите другую подсеть (отличную от подсети Управляемого экземпляра SQL).

   Дополнительные сведения см. в статье Присоединение среды выполнения интеграции Azure SSIS к виртуальной сети.

   

Дополнительные сведения о создании Azure-SSIS IR см. в статье Создание среды выполнения интеграции Azure-SSIS в Фабрике данных Azure.

Очистка журналов SSISDB

Политика хранения журналов SSISDB определяется по следующим свойствам в catalog.catalog_properties:

• OPERATION_CLEANUP_ENABLED

  Если значение равно TRUE, подробности и сообщения, связанные с операциями старше RETENTION_WINDOW (дней), удаляются из каталога. Если значение равно FALSE, все подробности и сообщения операции сохраняются в каталоге. Примечание. Задание SQL Server выполняет очистку операций.

• RETENTION_WINDOW

  Срок (в днях) сохранения подробностей и сообщений операции в каталоге. Значение, равное – 1, соответствует неограниченному сроку хранения. Примечание. Если очистка не требуется, присвойте свойству OPERATION_CLEANUP_ENABLED значение FALSE.

Для удаления журналов SSISDB, которые находятся за пределами окна периода удержания, настроенного администратором, можно активировать хранимую процедуру [internal].[cleanup_server_retention_window_exclusive]. При желании вы можете запланировать выполнение задания агента Управляемого экземпляра SQL для активации хранимой процедуры.

Связанный контент

• Выполнение пакетов служб интеграции SQL Server с помощью задания агента Управляемого экземпляра SQL Azure.
• Настройка среды выполнения интеграции Azure-SSIS с помощью георепликации и отработки отказа Базы данных SQL Azure.
• Миграция локальных рабочих нагрузок служб SSIS в службы SSIS в ADF.