Сопоставление данных в Azure Synapse Analytics

Что такое средство сопоставления данных?

Средство сопоставления данных — это интерактивный процесс, который помогает пользователям создавать сопоставления ETL и потоки данных для сопоставления из их исходных данных с таблицами базы данных озера Synapse без написания кода. Этот процесс начинается с того, что пользователь выбирает целевые таблицы в базах данных озера Synapse, а затем сопоставляет свои исходные данные с этими таблицами.

Дополнительные сведения о базах данных Synapse Lake см. в статье Обзор шаблонов баз данных Azure Synapse — Azure Synapse Analytics | Документация Майкрософт.

Средство сопоставления данных предоставляет интерактивный интерфейс, с помощью которого пользователь может создать поток данных для сопоставления без необходимости использовать пустой холст. Затем вы можете быстро создать масштабируемый поток данных для сопоставления, выполняемый в конвейерах Synapse.

Начало работы

Средство сопоставления данных запускается в интерфейсе базы данных озера Synapse. Здесь можно выбрать средство сопоставления данных, чтобы начать процесс.

Для средства сопоставления данных требуются вычислительные ресурсы, чтобы помочь пользователям выполнить предварительный просмотр данных, а также чтение схемы связанных исходных файлов. При первом использовании данных карты в сеансе необходимо прогреть кластер.

Для начала выберите источник данных для сопоставления с таблицами базы данных озера. Сейчас поддерживаются такие источники данных, как базы данных озера Synapse и Azure Data Lake Storage 2-го поколения.

Варианты типа файла

При выборе хранилища файлов, например Azure Data Lake Storage 2-го поколения, поддерживаются следующие типы файлов:

• Модель общих данных
• Текст с разделителями
• Parquet

Создание сопоставления данных

Настройте сопоставление данных с выбранным типом источника.

Примечание

Вы можете отправить всю папку или один файл. Если выбрать папку, вы сможете сопоставить несколько файлов с таблицами базы данных Lake. Если вы выберете папку, также появится запрос на включение только определенных файлов, если это необходимо.

Назовите сопоставление данных и выберите назначение базы данных озера Synapse.

Сопоставление источника с целевым объектом

Выберите первичную исходную таблицу для сопоставления с целевой таблицей базы данных озера Synapse.

Новое сопоставление

Используйте кнопку "Создать сопоставление", чтобы добавить метод сопоставления для создания сопоставления или преобразования.

Дополнительный источник

Используйте кнопку "Дополнительный источник", чтобы присоединиться к другому источнику и добавить его в сопоставление.

Просмотр данных

На вкладке Предварительный просмотр данных отображается интерактивный моментальный снимок данных при каждом преобразовании. Дополнительные сведения см. в статье Предварительный просмотр данных в режиме отладки.

Методы сопоставления

Поддерживаются следующие методы сопоставления:

• Direct
• Суррогатный ключ
• Уточняющий запрос
• отмена свертывания
• Aggregate
  • SUM
  • Минимальные
  • Максимум
  • Первый
  • Последний
  • стандартное отклонение.
  • Среднее
  • Среднее значение
• Производный столбец
  • Trim
  • Upper
  • Ниже
  • Дополнительно

Создание конвейера

Завершив преобразование данных карты, нажмите кнопку Создать конвейер, чтобы создать поток данных сопоставления и конвейер для отладки и запуска преобразования.