Планирование заданий U-SQL с использованием служб Integration Services (SSIS)

Этот документ содержит сведения о координации и создании задания U-SQL с помощью службы Integration Service (SSIS).

Важно!

Azure Data Lake Analytics прекращена 29 февраля 2024 г. Дополнительные сведения см. в этом объявлении.

Для аналитики данных ваша организация может использовать Azure Synapse Analytics или Microsoft Fabric.

Предварительные требования

Пакет дополнительных компонентов Azure для служб Integration Services предоставляет задачу Azure Data Lake Analytics и диспетчер подключений Azure Data Lake Analytics, что позволяет подключиться к службе Azure Data Lake Analytics. Чтобы использовать эту задачу, убедитесь, что установлено следующее ПО.

• Скачивание и установка SQL Server Data Tools (SSDT) для Visual Studio
• Установите пакет дополнительных компонентов Azure для служб Integration Services (SSIS)

Задача Azure Data Lake Analytics

Задача Azure Data Lake Analytics дает возможность пользователям отправлять задания U-SQL в учетную запись Azure Data Lake Analytics.

Дополнительные сведения о настройке задачи Azure Data Lake Analytics.

Можно получить сценарий U-SQL из разных мест используя встроенные функции и задачи служб MSSQL Integration Services. В приведенных ниже сценариях показано, как настроить сценарии U-SQL для разных пользовательских случаев.

Сценарий 1. Использование встроенного сценария вызова tvfs и хранимой процедуры

В редакторе задач Azure Data Lake Analytics настройте SourceType как DirectInput и поместите инструкции U-SQL в USQLStatement.

Чтобы управление и обслуживание кода были легкими, поместите короткий сценарий U-SQL как встроенные сценарии, например, при вызове существующих таблично определенных функций и хранимых процедур баз данных U-SQL.

Связанная статья о способе передачи параметров для хранимых процедур

Сценарий 2. Использование файлов U-SQL в хранилище Azure Data Lake Store

Можно также использовать файлы U-SQL в Azure Data Lake Store используя задачу файловой системы Azure Data Lake Store в пакете дополнительных компонентов Azure. Такой подход позволяет использовать сценарии, хранимые в облаке.

Выполните следующие действия для настройки подключения задачи файловой системы Azure Data Lake Store к заданию Azure Data Lake Analytics.

Настройка задачи потока управления

В представлении конструктора пакетов SSIS добавьте задачу файловой системы Azure Data Lake Store, контейнер "Цикл по каждому элементу" и задачу аналитики Azure Data Lake в контейнере "Цикл по каждому элементу". Задача файловой системы Azure Data Lake Store позволяет загружать файлы во временную папку U-SQL в учетной записи ADLS. Контейнер "Цикл по каждому элементу" и задача Azure Data Lake Analytics помогают отправлять каждый файл U-SQL во временную папку учетной записи Azure Data Lake Analytics как задание U-SQL.

Настройка задачи файловой системы Azure Data Lake Store

1. Установите параметру Операция значение CopyFromADLS.
2. Настройте AzureDataLakeConnection, дополнительные сведения о диспетчере подключений Azure Data Lake Store.
3. Установите AzureDataLakeDirectory. Укажите папку для хранения сценариев U-SQL. Используйте относительный путь, который связан с корневой папкой учетной записи Azure Data Lake Store.
4. Установите параметр Назначение папке, которая кэширует загруженные сценарии U-SQL. Этот путь к папке будет использоваться в контейнере "Цикл по каждому элементу" для отправки задания U-SQL.

Дополнительные сведения о задаче файловой системы Azure Data Lake Store.

Настройка контейнера "Цикл по каждому элементу"

1. На странице Коллекция установите Перечислитель для Перечислителя с циклом по каждому файлу.

2. Задайте Папку в разделе группы Настройка перечислителя для временной папки, которая содержит загруженные скрипты U-SQL.

3. Задайте Файлы в разделе Конфигурация перечислителя для *.usql таким образом, чтобы контейнер цикла получал только файлы с расширением .usql.

   

4. На странице Сопоставления переменной добавьте определенную пользователем переменную для получения имени файла для каждого файла U-SQL. Установите значение 0 для параметра Индекс, чтобы получить имя файла. В этом примере определяется переменная с именем User::FileName. Эта переменная будет использоваться для получения динамического файла подключения скрипта U-SQL и задаст имя задания U-SQL в задаче Azure Data Lake Analytics.

   

Настройка задачи Azure Data Lake Analytics

1. Задайте значение SourceType для параметра FileConnection.

2. Задайте FileConnection для подключения файла, который указывает на объекты файла, возвращаемые контейнером "Цикл по каждому элементу".

   Создание файла подключения.

   1. Выберите <Создать подключение...> в параметре FileConnection.

   2. Задайте параметру Тип использования значение Существующий файл, а параметру Файл — любой путь к существующему файлу.

      

   3. В представлении Диспетчеры соединений щелкните правой кнопкой мыши созданное подключение к файлу и выберите Свойства.

   4. В окне Свойства разверните вкладку Выражения и задайте переменной ConnectionString значение, определенное в контейнере "Цикл по каждому элементу", например, @[User::FileName].

      

3. Задайте параметру AzureDataLakeAnalyticsConnection учетную запись Azure Data Lake Analytics, в которую требуется отправлять задания. Дополнительные сведения о диспетчере подключений Azure Data Lake Analytics.

4. Задайте другие конфигурации задания. Подробнее

5. Используйте Выражения для динамической настройки имени задания U-SQL.

   1. На странице Выражения добавьте новое выражение пары "ключ — значение" для JobName.

   2. Установите значение переменной JobName для определения переменной в контейнере "Цикл по каждому элементу", например, @[User::FileName].

      

Сценарий 3. Использование файла U-SQL в хранилище BLOB-объектов Azure

Можно использовать файлы U-SQL в хранилище BLOB-объектов Azure с помощью задачи загрузки BLOB-объектов Azure в пакете дополнительных компонентов Azure. Такой подход позволяет использовать сценарии, хранимые в облаке.

Действия аналогичны Сценарию 2: использование файлов U-SQL в Azure Data Lake Store. Измените задачу файловой системы Azure Data Lake Store на задачу скачивания BLOB-объектов Azure. Дополнительные сведения о задаче загрузки BLOB-объектов Azure.

Поток управления выглядит следующим образом:

Сценарий 4. Использование файлов U-SQL на локальном компьютере

Помимо использования файлов U-SQL, хранящихся в облаке, можно также использовать файлы на локальном компьютере или файлы, развернутые с помощью пакетов служб SSIS.

1. Щелкните правой кнопкой мыши Диспетчер подключений в проекте служб SSIS и выберите Создать диспетчер подключений.

2. Выберите Тип файла и нажмите кнопку Добавить....

3. Задайте параметру Тип использования значение Существующий файл, а параметру Файл — путь к файлу на локальном компьютере.

   

4. Добавьте задачу Azure Data Lake Analytics и сделайте следующее.

   1. Задайте значение SourceType для параметра FileConnection.
   2. Задайте для параметра FileConnection значение Созданное подключение к файлу.

5. Завершите другие настройки для задачи Azure Data Lake Analytics.

Сценарий 5. Использование инструкции U-SQL в переменной SSIS

В некоторых случаях может потребоваться динамическое создание инструкций U-SQL. Можно использовать переменную SSIS с выражением SSIS и другие задачи служб, такие как задача "Сценарий", помогающие динамически создать инструкцию U-SQL.

1. Откройте окно инструментов Переменные в меню верхнего уровня Переменные служб SSIS>.

2. Добавьте переменные SSIS и задайте значение напрямую или используйте Выражение для создания значения.

3. Добавьте задачу Azure Data Lake Analytics и сделайте следующее.

   1. Задайте значение SourceType для параметра Переменная.
   2. Для параметра SourceVariable задайте созданную сейчас переменную служб SSIS.

4. Завершите другие настройки для задачи Azure Data Lake Analytics.

Сценарий 6. Передача параметров сценарию U-SQL

В некоторых случаях может потребоваться динамически задать значение переменной U-SQL в скрипте U-SQL. Функция сопоставления параметров в задаче Data Lake Analytics Azure помогает в этом сценарии. Существует два случая типичных действий пользователя.

• Задать динамические переменные пути ввода и вывода на основе текущей даты и времени.
• Задать параметр для хранимых процедур.

Дополнительные сведения о настройке параметров для скрипта U-SQL.

Дальнейшие действия

• Запуск пакетов служб Integration Services в Azure
• Пакет дополнительных компонентов Azure для служб Integration Services (SSIS)
• Преобразование данных с помощью сценариев U-SQL в Azure Data Lake Analytics