Поделиться через

Перенос рабочих нагрузок SQL Server Integration Services в облако

  • Статья

Область применения: среда выполнения интеграции SSIS SQL Server в Фабрика данных Azure

Проекты, пакеты и рабочие нагрузки служб SQL Server Integration Services (SSIS) теперь можно переносить в облако Azure. Для управления, развертывания и выполнения проектов и пакетов SSIS в каталоге SSIS (SSISDB), размещенном в службе "База данных SQL Azure" или Управляемом экземпляре SQL, можно использовать привычные средства, например SQL Server Management Studio (SSMS).

Льготы

Перенос локальных рабочих нагрузок служб SSIS в Azure имеет следующие потенциальные преимущества:

  • Сокращение операционных затрат и усилий на управление инфраструктурой, которые требуются, когда службы SSIS выполняются локально или в виртуальных машинах Azure.
  • Повышение уровня доступности благодаря возможности указывать несколько узлов в каждом кластере, а также использовать функции обеспечения высокой доступности Azure и базы данных SQL Azure.
  • Повышение масштабируемости благодаря возможности указывать несколько ядер на узел (вертикальное увеличение масштаба) и несколько узлов на кластер (горизонтальное увеличение масштаба).

Архитектура MSSQL Integration Services в Azure

В приведенной ниже таблице представлены различия между локальными службами SSIS и службами SSIS в Azure.

Главное различие заключается в разделении хранилища и среды выполнения. В фабрике данных Azure размещается подсистема среды выполнения для пакетов SSIS в Azure. Подсистема среды выполнения называется Azure-SSIS Integration Runtime (Azure-SSIS IR). Дополнительные сведения: Azure-SSIS Integration Runtime.

Расположение Хранилище Параметры выполнения Масштабируемость
Локально SQL Server Среда выполнения служб SSIS размещается в SQL Server Горизонтальное увеличение масштаба SSIS (в SQL Server 2017 и более поздних версиях)

Пользовательские решения (в предыдущих версиях SQL Server)
В Azure База данных SQL или Управляемый экземпляр SQL Azure-SSIS Integration Runtime, компонент фабрики данных Azure Параметры масштабирования для Azure-SSIS Integration Runtime

Подготовка служб SSIS к работе в Azure

Подготовка. Перед тем как развертывать и выполнять пакеты SSIS в Azure, необходимо подготовить каталог SSIS (SSISDB) и среду Azure-SSIS Integration Runtime.

Azure-SSIS IR достаточно подготовить только один раз. После этого можно использовать знакомые средства, такие как SQL Server Data Tools (SSDT) и SQL Server Management Studio (SSMS) для развертывания, настройки, запуска, мониторинга, планирования пакетов и управления ими.

Примечание.

Среда Integration Runtime Azure — SSI доступна пока не во всех регионах Azure. Сведения о поддерживаемых регионах см. на странице Доступность продуктов по регионам — Microsoft Azure.

Увеличение и увеличение масштаба. При подготовке среды выполнения интеграции Azure-SSIS можно масштабировать и масштабировать, указав значения для следующих параметров:

  • размер узла (включая число ядер) и число узлов в кластере;
  • существующий экземпляр базы данных SQL Azure для размещения базы данных каталога SSIS (SSISDB) и уровень обслуживания базы данных;
  • максимальное число параллельных выполнений в каждом узле.

Повышение производительности. Дополнительные сведения см. в статье Настройка высокого уровня производительности в Azure-SSIS Integration Runtime.

Сокращение затрат. Чтобы снизить затраты, запускайте среду Integration Services Azure — SSI только тогда, когда она нужна. См. дополнительные сведения о запуске и остановке среды выполнения интеграции Azure – SSI по расписанию.

Проектирование пакетов

Вы можете продолжать проектировать и создавать пакеты в локальной среде в средствах SSDT или в Visual Studio с установленными средствами SSDT.

Подключение к источникам данных

Чтобы подключиться к локальным источникам данных из облака с использованием проверки подлинности Windows, см. статьей Подключение к источникам данных и общим папкам с помощью проверки подлинности Windows в пакетах SQL Server Integration Services в Azure.

Сведения о подключении к файлам и общим папкам см. в статье Открытие и сохранение файлов в локальной среде и в Azure с помощью пакетов SSI, развернутых в Azure.

Доступные компоненты SSIS

При подготовке экземпляра базы данных SQL для размещения SSISDB также устанавливается пакет функций Azure для служб SSIS и распространяемый компонент Access. Эти компоненты обеспечивают подключение к различным источникам данных Azure, файлам Excel и Access, а также источникам данных, поддерживаемым встроенными компонентами.

Можно также установить дополнительные компоненты. Например, можно установить драйвер, который не устанавливается по умолчанию. Дополнительные сведения см. в статье Customize setup for the Azure-SSIS integration runtime (Настройка установки для среды выполнения интеграции Azure — SSIS).

Владельцам лицензия Enterprise Edition доступны дополнительные компоненты. Дополнительные сведения см. в статье Подготовка выпуска Enterprise Edition для среды выполнения интеграции Azure Integration Services.

Если вы независимый поставщик программного обеспечения, вы можете обновить установку лицензированных компонентов, чтобы сделать их доступными в Azure. Дополнительные сведения: Установка платных или лицензионных пользовательских компонентов для среды выполнения интеграции Azure – SSI.

Развертывание и запуск пакетов

Начало работы описано в руководстве по развертыванию и выполнению пакета служб SQL Server Integration Services (SSI) в Azure.

Необходимые компоненты

Для развертывания пакетов SSIS в Azure нужна одна из следующих версий SQL Server Data Tools (SSDT):

  • Для Visual Studio 2017 — 15.3 или более поздняя версия.
  • Для Visual Studio 2015 — 17.2 или более поздняя версия.

Подключение к SSISDB

Имя базы данных SQL, в которой размещается база данных SSISDB, станет первой частью четырехкомпонентного имени, которое применяется при развертывании и запуске пакетов из SSDT и SSMS в следующем формате: <sql_database_name>.database.windows.net. См. дополнительные сведения о подключении к базе данных каталога SSI (SSISDB) в Azure.

Развертывание проектов и пакетов

Для проектов, развертываемых в базе данных SSISDB в Azure, необходимо использовать модель развертывания проектов, а не модель развертывания пакетов.

Для развертывания проектов в Azure можно использовать одно из знакомых средств и скриптов:

  • SQL Server Management Studio (SSMS)
  • Transact-SQL (в SSMS, Visual Studio Code или другом средстве)
  • Программа командной строки
  • PowerShell или C# и объектная модель управления служб SSIS

В процессе развертывания проверяется возможность выполнения пакета в среде Azure-SSIS Integration Runtime. Подробнее см. в статье Проверка пакетов служб SQL Server Integration Services (SSI) в Azure.

См. дополнительные сведения о развертывании и выполнении пакета SQL Server Integration Services (SSI) с использованием SSMS и мастера развертывания Integration Services в Azure.

Поддерживаемые версии

В Azure можно развертывать пакеты, создаваемые в любых версиях SSIS. Если при развертывании пакета в Azure отсутствуют ошибки проверки, формат пакета автоматически обновляется до последней версии. Другими словами, пакет будет всегда обновлен до последней версии SSIS.

Выполнение пакетов

Вам доступны несколько методов запуска пакетов MSSQL Integration Services, развернутых в Azure. Подробнее см. в статье Выполнение пакетов служб SQL Server Integration Services (SSI), развернутых в Azure.

Выполнение пакетов в конвейере фабрики данных Azure

Чтобы выполнить пакет MSSQL Integration Services в конвейере Фабрики данных Azure, используйте действие "Выполнение пакета служб SSI". Дополнительные сведения см. в статье Выполнение пакета служб SSIS с помощью действия "Выполнение пакета служб SSIS" в фабрике данных Azure.

Если вы запускаете пакет в конвейере фабрики данных с помощью действия "Выполнение пакета служб SSI", вы можете передать значения в пакет во время выполнения. Чтобы передать одно или несколько значений во время выполнения, создайте среды выполнения служб MSSQL Integration Services в SSISDB с помощью SQL Server Management Studio (SSM). В каждой среде создайте переменные и присвойте значения, которые соответствуют параметрам для проектов или пакетов. Настройте пакеты служб SSIS в среде SSMS, чтобы связать эти переменные среды с параметрами проекта или пакета. Если пакеты выполняются в конвейере, переключайтесь между средами, указывая пути к разным средам на вкладке "Параметры" пользовательского интерфейса действия "Выполнение пакета служб SSI". Дополнительные сведения о средах SSI см. в статье Создание и сопоставление серверной среды.

Мониторинг пакетов

Для отслеживания запускаемых пакетов вы можете использовать в SSMS следующие средства отчетности.

  • Щелкните базу данных SSISDB правой кнопкой мыши и выберите пункт Активные операции, чтобы открыть диалоговое окно Активные операции.
  • Выберите пакет в обозревателе объектов, щелкните его правой кнопкой мыши, выберите пункт Отчеты, затем — Стандартные отчеты и Все выполнения.

Сведения о мониторинге Azure-SSIS Integration Runtime: Мониторинг Azure-SSIS Integration Runtime.

Планирование выполнения пакетов

Запланировать запуск пакетов, развернутых в Azure, можно разными средствами. Подробнее см. в статье Планирование выполнения пакетов служб SQL Server Integration Services (SSI), развернутых в Azure.

Следующие шаги

Чтобы приступить к работе с рабочими нагрузками служб SSIS в Azure, ознакомьтесь со следующими статьями: