Разработка скриптов U-SQL с помощью средств Data Lake для Visual Studio

Статья
12/20/2023

Это важно

Новые учетные записи Azure Data Lake Analytics больше не могут быть созданы, если подписка не включена. Если вам нужна подписка для включения обратиться в службу поддержки и предоставить свой бизнес-сценарий.

Если вы уже используете Azure Data Lake Analytics, вам потребуется создать план миграции в Azure Synapse Analytics для вашей организации к 29 февраля 2024 г.

Средства Azure Data Lake и Stream Analytics включают функции, связанные с двумя службами Azure, Azure Data Lake Analytics и Azure Stream Analytics. Дополнительные сведения о сценариях использования Azure Stream Analytics см. в инструментах Azure Stream Analytics для Visual Studio.

В этой статье описывается, как использовать Visual Studio для создания учетных записей Azure Data Lake Analytics. Задания можно определить в U-SQL и отправить задания в службу Data Lake Analytics. Дополнительные сведения о Data Lake Analytics см. в обзоре Azure Data Lake Analytics.

Это важно

Мы рекомендуем выполнить обновление до Azure Data Lake Tools для Visual Studio версии 2.3.3000.4 или более поздней. Предыдущие версии больше недоступны для скачивания и теперь устарели.

Проверьте, используется ли более ранняя версия, чем 2.3.3000.4 средств Azure Data Lake для Visual Studio.
Если ваша версия является более ранней версией 2.3.3000.4, обновите средства Azure Data Lake для Visual Studio, перейдя в центр загрузки:
- для Visual Studio 2017 и 2019
- для Visual Studio 2013 и 2015

Предпосылки

Visual Studio: поддерживаются все выпуски, кроме Express.
- Visual Studio 2019
- Visual Studio 2017
- Visual Studio 2015
- Visual Studio 2013
пакет SDK Microsoft Azure для .NET версии 2.7.1 или более поздней. Установите его с помощью установщика веб-платформы.
Учетная запись Data Lake Analytics. Сведения о создании учетной записи см. в статье Начало работы с Azure Data Lake Analytics с помощью портала Azure.

Установка средств Azure Data Lake для Visual Studio

В этом руководстве требуется, чтобы средства Data Lake для Visual Studio были установлены. Дополнительные сведения см. в разделе Установка средств Data Lake для Visual Studio.

Подключение к учетной записи Azure Data Lake Analytics

Откройте Visual Studio.
Откройте обозревателя Data Lake Analytics, выбрав Просмотреть>Обозреватель Data Lake Analytics.
Щелкните правой кнопкой мыши по Azure, затем выберите Подключиться к подписке Microsoft Azure. В войдите в учетную запись, следуйте инструкциям.
В обозревателе сервероввыберите Azure>Data Lake Analytics. Вы увидите список учетных записей Data Lake Analytics.

Написание первого скрипта U-SQL

Следующий текст — это простой скрипт U-SQL. Он определяет небольшой набор данных и записывает этот набор данных в хранилище data Lake Store по умолчанию в виде файла, называемого /data.csv.

USE DATABASE master;
USE SCHEMA dbo;
@a  = 
    SELECT * FROM 
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS 
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Отправить задание на обработку в Data Lake Analytics

В Visual Studio выберите Файл>Создать>Проект.
Выберите тип проекта U-SQL, а затем выберите Далее. В Настройка нового проектавыберите Создать.

Visual Studio создает решение, содержащее файл Script.usql.
Вставьте скрипт из написать первый скрипт U-SQL в окно Script.usql.
В обозревателе решений щелкните правой кнопкой мыши Script.usqlи выберите Отправить скрипт.
В Отправка заданиявыберите учетную запись Data Lake Analytics и выберите Отправить.

После отправки задания откроется вкладка Представление задания, чтобы показать ход выполнения задания.

сводка работы показывает итог работы.
граф заданий визуализирует ход выполнения задания.
Операции MetaData отображают все действия, выполненные в каталоге U-SQL.
Данные показывают все входы и выходы.
История состояния отображает хронологическую шкалу и детали состояния.
анализ AU показывает, сколько единиц AUS (аналитические единицы) использовались в задании, и изучает имитации различных стратегий распределения AU.
Диагностика предоставляет возможность для проведения расширенного анализа выполнения задач и оптимизации производительности.

граф производительности заданий U-SQL Visual Studio Data Lake Analytics

Чтобы просмотреть последнее состояние задания и обновить экран, выберите Обновить.

Проверка состояния задания

В Data Lake Analytics Explorerвыберите Data Lake Analytics.
Раскройте имя учетной записи Data Lake Analytics.
Дважды щелкните задачи.
Выберите задание, которое вы отправили ранее.

Просмотр выходных данных задания

В Data Lake Analytics Explorerперейдите к отправленному заданию.
В задании выберите вкладку данных.
На вкладке выходных данных задания выберите файл "/data.csv".

Поделиться через