Поделиться через


Обзор преобразования потоков данных для сопоставления

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

Потоки данных доступны в конвейерах как Фабрики данных Azure, так и Azure Synapse. Эта статья относится к потокам данных для сопоставления. Если вы не знакомы с преобразованиями, см. вводную статью Преобразование данных с помощью потока данных для сопоставления.

Ниже приведен список преобразований, которые в настоящее время поддерживаются в потоке данных для сопоставления. Щелкните каждое из этих преобразований, чтобы получить сведения о его настройке.

Имя. Категория Description
Общая Модификатор схемы Определяет различные типы агрегирования, такие как SUM, MIN, MAX и COUNT, сгруппированные по существующим или вычисляемым столбцам.
Изменение строки Модификатор ряда Устанавливает политики вставки, удаления, обновления и вставки с обновлением для ряда.
Assert Модификатор ряда Задайте правила утверждения для каждой строки.
Cast Модификатор схемы Изменение типов данных столбцов с помощью проверки типов.
Условное разделение Множественные преобразования ввода/вывода Перенаправляет строки данных в различные потоки на основе условий сопоставления.
Производный столбец Модификатор схемы Создает новые столбцы или изменяет существующие поля с помощью языка выражений для потока данных.
Внешний вызов Модификатор схемы Вызывает внешние конечные точки в строке по строкам.
Exists Множественные преобразования ввода/вывода Проверяет, существуют ли ваши данные в другом источнике или потоке.
Фильтр Модификатор ряда Фильтрует строку на основе условия.
Выравнивать Форматировщики Берет значения массива внутри иерархических структур, таких как JSON, и разворачивает их в отдельные строки.
Потоко Потоки Создание и включение пользовательской логики преобразования с возможностью повторного использования.
Присоединение Множественные преобразования ввода/вывода Объединяет данные из двух источников или потоков.
Поиск Множественные преобразования ввода/вывода Ссылка на данные из другого источника.
Новая ветвь Множественные преобразования ввода/вывода Применяет нескольких наборов операций и преобразований к одному потоку данных.
Анализ Форматировщики Анализ текстовых столбцов в потоке данных, которые могут иметь формат строк JSON, текста с разделителями или текста XML.
Сводка Модификатор схемы Преобразование уникальных значений строк из одного или нескольких столбцов группирования в отдельные столбцы.
Rank Модификатор схемы Создание упорядоченного ранжирования на основе условий сортировки.
Select Модификатор схемы Создание псевдонимов для столбцов и потоков, удаление столбцов и изменение их порядка.
Приемник - Место назначения для потока данных.
Сортировать Модификатор ряда Сортировка входящих строк в текущем потоке данных.
Источник - Источник данных для потока данных.
Stringify Форматировщики Преобразование сложных типов в простые строки
Суррогатный ключ Модификатор схемы Добавление произвольного значения ключа с приращением.
Union Множественные преобразования ввода/вывода Объединение нескольких потоков данных по вертикали.
отмена свертывания Модификатор схемы Сведение столбцов в значения строк.
Window Модификатор схемы Агрегирует данные в столбцах по окнам в потоке данных.