Запуск пакетов SSIS в Azure из SSDT

Статья
05/15/2024

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

В этой статье описывается функция проектов SQL Server Integration Services (SSIS) с поддержкой Azure в SQL Server Data Tools (SSDT). Она позволяет оценивать совместимость пакетов SSIS с облаком и запускать их в среде выполнения Azure-SSIS Integration Runtime (IR) в Фабрике данных Azure (ADF). Эту функцию можно использовать для тестирования существующих пакетов перед их репликацией в режиме lift-and-shift или переносом их в Azure, а также для разработки новых пакетов, предназначенных для работы в Azure.

С помощью этой функции можно присоединять вновь созданную или существующую среду выполнения Azure-SSIS IR к проектам SSIS, а затем запускать в ней пакеты. Поддерживается выполнение пакетов, которые подлежат развертыванию в каталоге SSIS (SSISDB), размещенном на сервере Базы данных SQL Azure или в управляемом экземпляре (модель развертывания для проектов). Кроме того, поддерживается выполнение пакетов, которые подлежат развертыванию в файловой системе, службе "Файлы Azure" или базе данных SQL Server (MSDB), размещенных в Управляемом экземпляре SQL Azure (модель развертывания для пакетов).

Необходимые компоненты

Чтобы использовать эту функцию, скачайте и установите последнюю версию SSDT с расширением SSIS Projects для Visual Studio (VS) отсюда. Как вариант, можно скачать и установить последнюю версию SSDT в виде автономного установщика отсюда.

Включение поддержки Azure в проектах SSIS

Создание проектов SSIS с поддержкой Azure

В SSDT можно создавать проекты SSIS с поддержкой Azure по шаблону Проект служб Integration Services (с поддержкой Azure).

Новый проект SSIS с поддержкой Azure

После создания проекта с поддержкой Azure вам будет предложено подключиться к SSIS в Фабрике данных Azure.

Запрос на подключение к Azure-SSIS IR

Если вы хотите сразу подключиться к Azure-SSIS IR, см. дополнительные сведения в разделе "Подключение к Azure-SSIS IR". Вы также можете подключиться позже. В этом случае щелкните правой кнопкой мыши узел проекта в окне "Обозреватель решений" SSDT, чтобы открыть контекстное меню. Затем выберите пункт Подключиться к службам SSIS в Фабрике данных Azure в подменю Службы SSIS в Фабрике данных Azure.

Включение Существующих проектов служб SSIS в Azure

В существующих проектах служб SSIS поддержка Azure включается следующим образом:

Щелкните правой кнопкой мыши узел проекта в окне "Обозреватель решений" SSDT, чтобы открыть контекстное меню. Затем выберите пункт Проект с поддержкой Azure в подменю Службы SSIS в Фабрике данных Azure, чтобы запустить Мастер проектов с поддержкой Azure.
На странице Выбор конфигурации Visual Studio выберите существующую конфигурацию VS, чтобы применить соответствующие параметры запуска пакета в Azure. Если проекта еще нет, его можно создать — см. статью "Создание конфигурации VS". Мы рекомендуем использовать по крайней мере две разные конфигурации VS для запуска пакетов в локальной и облачной средах, чтобы можно было включить поддержку Azure в проекте в соответствии с конфигурацией облака. В этом случае, если вы параметризовали свои пакеты и проект, то сможете задать для них разные значения параметров во время выполнения в зависимости от среды, в которой они выполняются (на локальном компьютере или в Azure). Пример см. в разделе "Смена среды выполнения пакетов".
Для включения поддержки Azure в существующих проектах SSIS необходимо в качестве версии целевого сервера указать последнюю версию, поддерживаемую Azure-SSIS IR. В настоящее время Azure-SSIS IR основывается на SQL Server 2017. Убедитесь, что ваши пакеты не содержат дополнительных компонентов, которые не поддерживаются в SQL Server 2017. Кроме того, убедитесь, что все совместимые дополнительные компоненты установлены в Azure-SSIS IR с помощью пользовательских программ установки — см. статью "Настройка Azure-SSIS IR". Нажмите кнопку Далее для продолжения.
Чтобы завершить подключение проекта к Azure-SSIS IR, см. раздел "Подключение к Azure-SSIS IR".

Подключение проектов с поддержкой Azure к SSIS в Фабрика данных Azure

Подключив проекты с поддержкой Azure к службам SSIS в ADF, вы сможете передавать пакеты в службу Файлов Azure и запускать их в Azure-SSIS IR. Для этого выполните следующее.

Ознакомьтесь со сведениями на странице Общие сведения о службах SSIS в Фабрике данных Azure и нажмите кнопку Далее для продолжения.
На странице Выбор SSIS IR в ADF выберите имеющиеся ADF и Azure-SSIS IR для запуска пакетов. Если у вас нет Azure-SSIS IR и ADF, их можно создать.
- Чтобы выбрать существующую среду выполнения Azure-SSIS IR, сначала выберите соответствующую подписку Azure и ADF.
- Если вы выбрали ADF без среды выполнения Azure-SSIS IR, нажмите кнопку Создать SSIS IR, чтобы создать среду выполнения на портале ADF. После ее создания можно вернуться на эту страницу, чтобы выбрать только что созданную среду выполнения Azure-SSIS IR.
- Если вы выбрали подписку Azure без ADF, нажмите кнопку Создать SSIS IR, чтобы запустить Мастер создания среды выполнения интеграции. В мастере вы можете ввести назначенное расположение и префикс для автоматического создания от вашего имени группы ресурсов Azure, фабрики данных и среды выполнения SSIS IR с именем в следующем формате: YourPrefix-RG/DF/IR-YourCreationTime. После их создания можно вернуться на эту страницу, чтобы выбрать только что созданные ADF и среду выполнения Azure-SSIS IR.
На странице Выбор хранилища Azure выберите учетную запись хранения Azure для отправки пакетов в Файлы Azure. Если у вас нет учетной записи, ее можно создать.
- Чтобы выбрать учетную запись хранения Azure, сначала выберите соответствующую подписку Azure.
- Если вы выбрали ту же подписку Azure, в которой находится Azure-SSIS IR, но в ней нет учетной записи хранения Azure, нажмите кнопку Создать хранилище Azure. От вашего имени в том же расположении, что и Azure-SSIS IR, будет автоматически создана учетная запись с именем, состоящим из имени Azure-SSIS IR в виде префикса и даты создания. Создав учетную запись хранения Azure, можно вернуться на эту страницу и выбрать только что созданную учетную запись.
- Если вы выбрали другую подписку Azure, в которой нет учетной записи хранения Azure, нажмите кнопку Создать хранилище Azure, чтобы создать учетную запись хранения на портале Azure. Создав учетную запись хранения Azure, можно вернуться на эту страницу и выбрать только что созданную учетную запись.
Нажмите кнопку Подключиться, чтобы завершить подключение проекта к Azure-SSIS IR. Выбранные среда выполнения Azure-SSIS IR и учетная запись хранения Azure будут отображаться в составе узла Связанные ресурсы Azure в окне "Обозреватель решений" SSDT. Отображаемое там состояние Azure-SSIS IR будет регулярно обновляться. Для управления средой выполнения Azure-SSIS IR щелкните ее узел правой кнопкой мыши, чтобы открыть контекстное меню, а затем выберите пункт Запуск/Остановка/Управление. После этого вы перейдете на портал ADF, где сможете выполнить соответствующую операцию.

Оценка пригодности проекта или пакетов SSIS для запуска в Azure

Оценка одного или нескольких пакетов

Перед запуском пакетов в Azure вы можете оценить на предмет возможных проблем совместимости с облачной средой. Сюда относятся проблемы, блокирующие миграцию, а также дополнительные сведения, которые следует иметь в виду.

Пакеты в проекте можно оценивать по одному или одновременно.
В окне Отчет об оценке SSDT отображается перечень возможных проблем совместимости с облачной средой. Для каждой из проблем дается подробное описание и рекомендации по ее устранению. Отчет об оценке можно также экспортировать в CSV-файл и поделиться им с пользователями, которые должны устранить выявленные проблемы.

Подавление правил оценки

Убедившись в том, что какие-то из возможных проблем совместимости с облачной средой не относятся к вашему случаю или надлежащим образом устранены в ваших пакетах, вы можете подавить соответствующие правила оценки. Тем самым вы уменьшите объем неактуальных сведений в последующих отчетах об оценке.

Нажмите ссылку Настройка подавления правил оценки в окне Отчет об оценке SSDT, чтобы открыть окно Параметры подавления правил оценки, где можно выбрать, какие из правил оценки будут подавляться.
То же самое можно сделать иначе. Щелкните правой кнопкой мыши узел проекта в окне "Обозреватель решений" SSDT, чтобы открыть контекстное меню. Выберите элемент Параметры поддержки Azure в подменю Службы SSIS в Фабрике данных Azure, чтобы открыть окно со страницами свойств проекта. Выберите свойство Идентификаторы подавленных правил оценки в разделе Параметры поддержки Azure. В заключение нажмите кнопку с многоточием (...), чтобы открыть окно Параметры подавления правил оценки, где можно выбрать, какие из правил оценки будут подавляться.

Запуск пакетов SSIS в Azure

Настройка параметров с поддержкой Azure

Перед запуском пакетов в Azure можно настроить для них параметры поддержки Azure. Например, можно включить проверку подлинности Windows в Azure-SSIS IR для доступа к локальным или облачным хранилищам данных, выполнив следующие действия.

Щелкните правой кнопкой мыши узел проекта в окне "Обозреватель решений" SSDT, чтобы открыть контекстное меню. Выберите пункт Параметры поддержки Azure в подменю Службы SSIS в Фабрике данных Azure, чтобы открыть окно со страницами свойств проекта.
Выберите свойство Включить проверку подлинности Windows в разделе Параметры поддержки Azure, а затем в раскрывающемся списке выберите значение true. Далее выберите свойство Учетные данные проверки подлинности Windows и нажмите кнопку с многоточием (...) напротив этого свойства, чтобы открыть окно Учетные данные проверки подлинности Windows.
Введите учетные данные проверки подлинности Windows. Например, для доступа к Файлам Azure можно ввести значения Azure, YourStorageAccountName и YourStorageAccountKey в поля Домен, Имя пользователяи Пароль соответственно.

Запуск пакетов

После подключения проектов с поддержкой Azure к SSIS в ADF, оценки их совместимости с облачной средой и устранения потенциальных проблем можно приступить к запуску и тестированию пакетов в среде выполнения Azure-SSIS IR.

Нажмите кнопку Запуск на панели инструментов SSDT. В раскрывающемся меню выберите пункт Выполнить в Azure.
То же самое можно сделать иначе. Щелкните правой кнопкой мыши узел проекта в окне "Обозреватель решений" SSDT, чтобы открыть контекстное меню. Выберите пункт Выполнить пакет в Azure.

Примечание.

Для запуска пакетов в Azure необходима работающая среда выполнения Azure-SSIS IR, поэтому если ваша среда Azure-SSIS IR остановлена, откроется диалоговое окно для ее запуска. Без учета времени выполнения пользовательских программ установки этот процесс должен занять не более 5 минут, но на присоединение Azure-SSIS IR к виртуальной сети может потребоваться приблизительно 20–30 минут. После запуска пакетов в Azure можно остановить работу Azure-SSIS IR для управления затратами на выполнение. Для этого щелкните правой кнопкой мыши узел вашей среды выполнения Azure-SSIS IR в окне "Обозреватель решений SSDT, чтобы открыть меню, а затем выберите пункт Запуск/Остановка/Управление. После этого вы перейдете на портал ADF, где сможете выполнить соответствующую операцию.

Использование задачи "Выполнение пакета"

Если ваши пакеты содержат задачи "Выполнение пакета", которые ссылаются на дочерние пакеты, хранящиеся в локальных файловых системах, выполните следующие дополнительные действия.

Отправьте дочерние пакеты в Файлы Azure той же учетной записи хранения Azure, которая подключена к вашим проектам, и получите новый UNC-путь к ним, например \\YourStorageAccountName.file.core.windows.net\ssdtexecution\YourChildPackage1.dtsx.
Замените путь к файлам этим дочерних пакетов в диспетчере подключения файлов для задач "Выполнение пакета", указав вместо имеющегося пути полученный только что UNC-путь.
- Если у локального компьютера, на котором работает SSDT, нет доступа к новому UNC-пути, можно ввести этот путь на панели "Свойства" диспетчера подключения файлов.
- Кроме того, в качестве пути к файлу можно использовать переменную, чтобы задавать нужное его значение во время выполнения.

Если пакеты содержат задачи "Выполнение пакета", ссылающиеся на дочерние пакеты в том же проекте, никаких дополнительных действий не требуется.

Смена уровня защиты пакетов

Для запуска пакетов SSIS в Azure не поддерживаются уровни защиты EncryptSensitiveWithUserKey/EncryptAllWithUserKey. Поэтому, если ваши пакеты настроены для использования этих уровней защиты, они будут временно преобразовываться в пакеты с уровнями защиты EncryptSensitiveWithPassword/EncryptAllWithPassword соответственно. Кроме того, при отправке пакетов в Файлы Azure для запуска в среде выполнения Azure-SSIS IR будут создаваться случайные пароли шифрования.

Примечание.

Если ваши пакеты содержат задачи "Выполнение пакета", которые ссылаются на дочерние пакеты, настроенные для использования уровней защиты EncryptSensitiveWithUserKey/EncryptAllWithUserKey, перед запуском этих пакетов вам необходимо будет перенастроить их вручную для использования уровней защиты EncryptSensitiveWithPassword/EncryptAllWithPassword соответственно.

Если пакеты уже настроены для использования уровней защиты EncryptSensitiveWithPassword/EncryptAllWithPassword, они останутся без изменений. При отправке пакетов в Файлы Azure для запуска в среде выполнения Azure-SSIS IR также будут создаваться случайные пароли шифрования.

Переключение сред выполнения пакета

Если в рамках модели развертывания проекта вы параметризуете свои пакеты или проект, то сможете создать несколько конфигураций VS для смены сред выполнения пакетов. В этом случае можно будет во время выполнения присваивать параметрам проекта или пакета значения, определяемые средой. Рекомендуется использовать по крайней мере две разные конфигурации VS для запуска пакетов в локальной и облачной средах, чтобы можно было включать поддержку Azure в проектах в соответствии с конфигурацией облака. Ниже приведен пошаговый пример смены среды выполнения пакетов с локального компьютера на Azure и наоборот.

Пусть пакет содержит задачу "Файловая система", которая задает атрибуты файла. При запуске на локальном компьютере задаются атрибуты файла, хранящегося в локальной файловой системе. При запуске в Azure-SSIS IR нужно, чтобы она задавала атрибуты файла, хранящегося в Файлах Azure. Сначала создайте параметр пакета типа String и назовите его FilePath. В нем будет храниться значение пути к целевому файлу.
Затем на странице Общие окна Редактор задачи "Файловая система" параметризуйте свойство SourceVariable в разделе Соединение с источником, используя параметр пакета FilePath.
По умолчанию у вас есть конфигурация VS с именем Разработка для запуска пакетов в локальной среде. Если вы еще этого не сделали, создайте конфигурацию VS для запуска пакетов в облачной среде с именем Azure (см. статью "Практическое руководство. Создание и изменение конфигураций").
При просмотре параметров пакета нажмите кнопку Добавить параметры в конфигурации, чтобы открыть окно Управление значениями параметров для этого пакета. Затем задайте разные значения пути к целевому файлу для параметра FilePath в конфигурациях Разработка и Azure.
Если вы еще этого не сделали, включите поддержку Azure в проекте в соответствии с конфигурацией облака (см. раздел "Включение поддержки Azure в существующих проектах SSIS"). Затем, если вы этого еще не сделали, настройте параметры поддержки Azure, чтобы включить проверку подлинности Windows для доступа Azure-SSIS IR к Файлам Azure (см. раздел "Настройка параметров поддержки Azure").
Запустите пакет на выполнение в Azure. Если нужно сменить среду выполнения пакета обратно на локальный компьютер, выберите конфигурацию Разработка.

Использование файла конфигурации пакета

Если вы пользуетесь файлами конфигурации пакетов в рамках модели развертывания пакетов, то можете во время выполнения присваивать свойствам пакета значения, зависящие от среды. Эти файлы будут автоматически отправляться вместе с вашими пакетами в Файлы Azure для запуска в среде выполнения Azure-SSIS IR.

Проверка журналов выполнения пакетов

После запуска пакета его журналы отображаются в отформатированном виде в окне Ход выполнения SSDT. Журналы длительно выполняющегося пакета обновляются поминутно. Выполнение пакета можно немедленно отменить, нажав кнопку Остановить на панели инструментов SSDT. Кроме того, необработанные данные журналов можно временно найти по следующему UNC-пути: \\<YourStorageAccountName>.file.core.windows.net\ssdtexecution\<YourProjectName-FirstConnectTime>\<YourPackageName-tmp-ExecutionTime>\logs, но они будут удалены из этого расположения через сутки.

Текущие ограничения

В настоящее время SSDT с поддержкой Azure поддерживает только коммерческие или глобальные облачные регионы, а государственные или национальные облачные регионы не поддерживаются.