Поделиться через

Краткое руководство. Прием данных с помощью Azure Synapse Pipelines (предварительная версия)

  • Статья

В этом кратком руководстве описано, как загружать данные из источника данных в пул Data Explorer в Azure Synapse.

Необходимые компоненты

  • Подписка Azure. Создайте бесплатную учетную запись Azure.

  • Создать пул Data Explorer с помощью Synapse Studio или портала Azure

  • Создать базу данных Data Explorer.

    1. В Synapse Studio в области слева выберите элемент Данные.

    2. Выберите + (Добавить новый ресурс) >Пул Data Explorer, а затем используйте следующие сведения:

      Параметр Предлагаемое значение Description
      Имя пула contosodataexplorer Имя пула Data Explorer, который вы будете использовать.
      Имя. TestDatabase Имя базы данных должно быть уникальным в пределах кластера.
      Срок хранения по умолчанию 365. Интервал времени (в днях), в течение которого данные будут гарантированно доступны для запросов. Интервал времени измеряется с момента приема данных.
      Период кэширования по умолчанию 31 Интервал времени (в днях), в течение которого необходимо хранить часто запрашиваемые данные в хранилище SSD или ОЗУ, а не в долговременном хранилище.

    3. Чтобы создать базу данных, выберите Создать. Создание обычно занимает меньше минуты.

  • Создание таблицы

    1. В Synapse Studio в области слева выберите элемент Разработка.
    2. В разделе Скрипты KQL выберите + (Добавить новый ресурс) >Скрипт KQL. В области справа можно присвоить имя вашему сценарию.
    3. В меню Подключение к выберите contosodataexplorer.
    4. В меню Использование базы данных выберите TestDatabase.
    5. Вставьте следующую команду и выберите Выполнить, чтобы создать таблицу.
    .create table StormEvents (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)

    Совет

    Убедитесь, что таблица была успешно создана. В области слева выберите Данные, откройте дополнительное меню contosodataexplorer и выберите Обновить. В разделе contosodataexplorer разверните элемент Таблицы и убедитесь, что в списке присутствует таблица StormEvents.

  • Получите конечные точки приема запросов и данных. Для настройки связанной службы потребуется конечная точка запроса.

    1. В Synapse Studio в области навигации слева выберите Управление>Пулы Data Explorer.

    2. Выберите пул Data Explorer, сведения о котором нужно просмотреть.

      Screenshot of the Data Explorer pools screen, showing the list of existing pools.

    3. Запишите конечные точки запроса и приема данных. Используйте конечную точку запроса в качестве кластера при настройке подключений к пулу Data Explorer. При настройке пакетов SDK для приема данных используйте конечную точку приема данных.

      Screenshot of the Data Explorer pools properties pane, showing the Query and Data Ingestion URI addresses.

Создание связанной службы

В Azure Synapse Analytics связанная служба используется для определения сведений о подключении к другим службам. В рамках этого раздела вы создадите связанную службу для Azure Data Explorer.

  1. В Synapse Studio в области слева выберите Управление>Связанные службы.

  2. Выберите + Создать.

    Screenshot of the Linked services screen, showing the list of existing services and highlighting the add new button.

  3. Выберите службу Azure Data Explorer из коллекции и щелкните Продолжить.

    Screenshot of the new Linked services pane, showing the list of available services and highlighting the add new Azure Data Explorer service.

  4. На странице новых связанных служб используйте приведенные ниже сведения.

    Параметр Предлагаемое значение Описание:
    Имя. contosodataexplorerlinkedservice Имя новой связанной службы Azure Data Explorer.
    Authentication method управляемое удостоверение; Способ проверки подлинности для новой службы.
    Метод выбора учетной записи Ручной ввод Метод для указания конечной точки запроса.
    Конечная точка https://contosodataexplorer.contosoanalytics.dev.kusto.windows.net Конечная точка запроса, которая была записана ранее.
    База данных TestDatabase База данных, в которой необходимо принимать данные.

    Screenshot of the new Linked services details pane, showing the fields that need to be completed for the new service.

  5. Нажмите кнопку Test connection (Проверить подключение), чтобы проверить параметры, а затем Create (Создать).

Создание конвейера для приема данных

Конвейер содержит логический поток для выполнения набора действий. В рамках этого раздела вы создадите конвейер с действием копирования, которое позволяет принять данные из предпочтительного источника в пул Data Explorer.

  1. В Synapse Studio в области слева выберите элемент Интегрировать.

  2. Выберите +>Конвейер. В области справа можно присвоить имя конвейеру.

    Screenshot showing the selection for creating a new pipeline.

  3. В разделе Действия>Move & transform (Перемещение и преобразование) перетащите элемент Копировать данные на холст конвейера.

  4. Выберите действие копирования и перейдите на вкладку Источник. Выберите или создайте новый исходный набор данных в качестве источника для копирования данных.

  5. Перейдите на вкладку Приемник. Выберите Создать, чтобы создать набор данных приемника.

    Screenshot of the pipeline copy activity, showing the selection for creating a new sink.

  6. Выберите набор данных Azure Data Explorer из коллекции и щелкните Продолжить.

  7. В области Задать свойства задайте приведенные ниже сведения, а затем нажмите кнопку ОК.

    Параметр Предлагаемое значение Описание:
    Имя. AzureDataExplorerTable Имя нового конвейера.
    Связанная служба contosodataexplorerlinkedservice Связанная служба, созданная ранее.
    Таблица StormEvents Таблица, созданная ранее.

    Screenshot of the pipeline copy activity set properties pane, showing the fields that need to be completed for the new sink.

  8. Чтобы проверить конвейер, выберите Проверить на панели инструментов. Результат проверки конвейера отобразится в правой части страницы.

Отладка и публикация конвейера

Завершив настройку конвейера, можно выполнить отладку перед публикацией артефактов, чтобы убедиться, что все правильно.

  1. На панели инструментов выберите Отладка. Состояние выполнения конвейера вы можете найти на вкладке Выходные данные в нижней части окна.

  2. После успешного запуска конвейера на верхней панели инструментов выберите Опубликовать все. Это действие опубликует сущности (наборы данных и конвейеры), которые вы создали в службе Synapse Analytics.

  3. Дождитесь сообщения Опубликовано. Чтобы отобразить уведомления, нажмите кнопку в виде колокольчика в правом верхнем углу.

Активация и мониторинг конвейера

Проходя этот раздел, вы вручную активируете конвейер, опубликованный ранее.

  1. Выберите Добавить триггер на панели инструментов, а затем Trigger Now (Запустить сейчас). На странице Запуск конвейера щелкните ОК.

  2. Перейдите на вкладку Монитор на левой боковой панели. Вы увидите выполнение конвейера, которое вы только что активировали вручную.

  3. После успешного запуска конвейера выберите ссылку в столбце Имя конвейера, чтобы просмотреть сведения о выполнении действия или перезапустить конвейер. В нашем примере определено только одно действие, поэтому в списке вы увидите только одну запись.

  4. Чтобы увидеть сведения об операции копирования, щелкните ссылку Сведения (значок очков) в столбце Название действия. Вы можете отслеживать такие сведения, как объем данных, копируемых из источника в приемник, пропускная способность данных, шаги выполнения с длительностью и используемые параметры.

  5. Чтобы вернуться к представлению "Запуски конвейера", выберите ссылку Все запуски конвейеров в верхней части окна. Щелкните Обновить, чтобы обновить список.

  6. Убедитесь, что данные правильно записаны в пул Data Explorer.

Следующие шаги