Запуск скриптов U-SQL на локальном компьютере

Статья
12/20/2023

Важно!

Azure Data Lake Analytics прекращена 29 февраля 2024 г. Дополнительные сведения см. в этом объявлении.

Для аналитики данных ваша организация может использовать Azure Synapse Analytics или Microsoft Fabric.

При разработке скриптов U-SQL вы можете сэкономить время и деньги, запуская скрипты локально. Средства Azure Data Lake для Visual Studio поддерживают запуск скриптов U-SQL на локальных компьютерах.

Основные понятия, связанные с локальным запуском

В следующей таблице показаны компоненты для запуска в локальной среде и сопоставление этих компонентов при запуске в облачной среде.

Компонент	Локальный запуск	Запуск в облачной среде
Память	Корневая локальная папка данных	Учетная запись Azure Data Lake Storage по умолчанию
Вычисления	Модуль запуска U-SQL в локальной среде	Служба Azure Data Lake Analytics
Среда запуска	Рабочая папка на локальном компьютере	Кластер Azure Data Lake Analytics

В последующих разделах содержатся дополнительные сведения о компонентах локального запуска.

Корневые локальные папки данных

Корневая папка данных — это локальное хранилище для локальной учетной записи среды вычислений. Локальной корневой папкой данных может быть любая папка в локальной файловой системе на локальном компьютере. Она выполняет функции учетной записи Azure Data Lake Storage по умолчанию в учетной записи Data Lake Analytics. Переход на другую корневую папку данных аналогичен переключению на другую учетную запись хранения по умолчанию.

Корневая папка данных используется в следующих целях:

хранение метаданных, включая базы данных, таблицы, функции с табличным значением и сборки;
поиск путей ввода-вывода, которые определяются как относительные пути в скриптах U-SQL. Использование относительных путей упрощает развертывание скриптов U-SQL в Azure.

Модули запуска U-SQL в локальной среде

Модуль запуска U-SQL в локальной среде — это локальная учетная запись среды вычислений для заданий U-SQL. Пользователи могут запускать задания U-SQL в локальной среде с помощью Средств Azure Data Lake для Visual Studio. Запуски в локальной среде также можно выполнять через интерфейс командной строки или программные интерфейсы пакета SDK Azure Data Lake для U-SQL. Подробнее о пакете SDK Azure Data Lake для U-SQL.

Рабочие каталоги

При выполнении скрипта U-SQL требуется рабочая папка для кэширования результатов компиляции и журналов запуска, а также выполнения других функций. В Средствах Azure Data Lake для Visual Studio рабочей папкой считается рабочая папка проекта U-SQL. Она расположена в папке <U-SQL project root path>/bin/debug>. Эта рабочая папка очищается при каждом новом запуске.

Локальные запуски в Microsoft Visual Studio

Средства Azure Data Lake для Visual Studio включают встроенный модуль локального запуска. В средствах этот модуль представлен как локальная учетная запись среды вычислений. Чтобы запустить скрипт U-SQL локально, выберите учетную запись Local-machine или Local-project в раскрывающемся списке в поле редактора скриптов. Затем нажмите кнопку Отправить.

Отправка скрипта U-SQL в локальную учетную запись

Запуск в локальной среде с помощью учетной записи Local-machine

Учетная запись Local-machine — это общая локальная учетная запись среды вычислений с одной корневой локальной папкой данных, используемой в качестве локальной учетной записи хранения. По умолчанию корневая папка данных находится в папке C:\Users<username>\AppData\Local\USQLDataRoot. Этот путь можно настроить, последовательно выбрав Средства>Data Lake>Параметры и настройки.

Настройка локальной корневой папки данных

Для запуска в локальной среде требуется проект U-SQL. Рабочая папка проекта U-SQL используется в качестве рабочей папки U-SQL для запуска в локальной среде. Результаты компиляции, журналы выполнения и другие файлы, связанные с запуском задания, создаются и хранятся в рабочей папке в ходе запуска в локальной среде. При каждом повторном запуске скрипта все файлы в рабочей папке будут очищаться и создаваться заново.

Запуск в локальной среде с учетной записью Local-project

Учетная запись Local-project — это локальная учетная запись среды вычислений, используемая в пределах каждого проекта с изолированной локальной корневой папкой данных. Каждый активный проект U-SQL, который вы открываете в обозревателе решений в Visual Studio, имеет соответствующую учетную запись (Local-project: <project name>). Эти учетные записи отображаются в обозревателе сервера в Visual Studio и в поле редактора скриптов U-SQL.

Учетная запись Local-project предоставляет чистую и изолированную среду разработки. Учетная запись Local-machine связана с общей локальной корневой папкой данных, в которой хранятся метаданные, а также входные и выходные данные всех локальных заданий. Но учетная запись Local-project создает временную корневую папку данных в локальном рабочем каталоге проекта U-SQL каждый раз при выполнении скрипта U-SQL. Эта временная корневая папка данных очищается при каждом повторном создании или запуске.

Проект U-SQL управляет изолированной средой локального запуска с помощью ссылки на проект и соответствующего свойства. Вы можете настроить источники входных данных для скриптов U-SQL как в проекте, так и в средах баз данных, на которые он ссылается.

Управление источником входных данных для учетной записи Local-project

Проект U-SQL создает локальную корневую папку данных и настраивает в ней данные для учетной записи Local-project. Временная корневая папка данных очищается и заново создается в рабочей папке проекта U-SQL при каждом повторном создании и выполнении в локальной среде. Все источники данных, настроенные в проекте U-SQL, копируются в эту временную локальную корневую папку данных перед запуском задания в локальной среде.

Вы можете настроить корневую папку для источников данных. Щелкните правой кнопкой мыши U-SQL project property (Свойство проекта U-SQL) >Свойство>Проверить источник данных. При запуске скрипта U-SQL в учетной записи Local-project все файлы и вложенные папки из папки источника тестовых данных копируются во временную локальную корневую папку данных. Также копируются все файлы во вложенных папках. После запуска задания в локальной среде результаты также можно найти в этой локальной временной папке данных в рабочей папке проекта. Все эти выходные данные удаляются и очищаются при повторном создании и очистке проекта.

Настройка источника тестовых данных для проекта

Управление средой базы данных, на которую указывает ссылка, для учетной записи Local-project

Если запрос U-SQL использует или запрашивает объекты базы данных U-SQL, вам нужно локально подготовить среды баз данных, прежде чем запускать этот скрипт U-SQL в локальной среде. Зависимостями базы данных U-SQL для учетной записи Local-project можно управлять с помощью ссылок в проекте U-SQL. Можно добавить ссылки на проект базы данных U-SQL в проект U-SQL. Перед запуском скриптов U-SQL в учетной записи Local-project все базы данных, на которые указывают ссылки, развертываются во временной локальной корневой папке данных. Для каждого нового запуска эта папка очищается, обеспечивая чистую изолированную среду.

Подробнее:

Сведения об управлении определениями и ссылками баз данных U-SQL в проектах баз данных U-SQL.

Различия между учетными записями Local-machine и Local-project

Учетная запись Local-machine имитирует учетную запись Azure Data Lake Analytics на локальном компьютере пользователя. Она предоставляет те же возможности, что и учетная запись Azure Data Lake Analytics. Учетная запись Local-project предоставляет удобную локальную среду для разработки. Эта среда помогает пользователям развертывать ссылки на базы данных и входные данные перед локальным запуском скриптов. Учетная запись Local-machine предоставляет общую постоянную среду, доступ к которой можно получить из любого проекта. Учетная запись Local-project предоставляет изолированную среду разработки для каждого проекта. Она обновляется при каждом запуске. Учетная запись Local-project позволяет ускорить процесс разработки, быстро применяя все изменения.

Дополнительные различия между учетными записями Local-machine и Local-project собраны в следующей таблице.

Разница	Local-machine	Local-project
Локальный доступ	Доступна для всех проектов.	Доступ к этой учетной записи может получить только соответствующий проект.
Корневая локальная папка данных	Постоянная локальная папка. Настраивается через меню Средства>Data Lake>Параметры и настройки.	Временная папка, создаваемая в рабочей папке проекта U-SQL при каждом запуске в локальной среде. Эта папка очищается при повторном создании или запуске.
Входные данные для скрипта U-SQL	Относительный путь в постоянной локальной корневой папке данных.	Настраивается с помощью элементов U-SQL project property (Свойство проекта U-SQL) >Проверить источник данных. Все файлы и вложенные папки копируются во временную корневую папку данных перед запуском в локальной среде.
Выходные данные скрипта U-SQL	Относительный путь в постоянной локальной корневой папке данных.	Выводятся во временную корневую папку данных. Результаты очищаются при повторном создании или запуске.
Развертывание баз данных, на которые указывает ссылка	Базы данных, на которые указывают ссылки, не развертываются при запуске автоматически в учетной записи Local-machine. Используется тот же подход, что и с учетной записью Azure Data Lake Analytics.	Базы данных, на которые указывают ссылки, развертываются автоматически в учетной записи Local-project перед запуском в локальной среде. Все среды базы данных очищаются и повторно развертываются при повторном создании или запуске.

Запуск в локальной среде с помощью пакета SDK для U-SQL

Скрипты U-SQL можно запускать в локальной среде с помощью Visual Studio или пакета SDK Azure Data Lake для U-SQL через интерфейс командной строки или программные интерфейсы. Эти интерфейсы позволяют автоматизировать запуск и тестирование U-SQL в локальной среде.

Подробнее о пакете SDK Azure Data Lake для U-SQL.

Поделиться через