Обзор преобразования потоков данных для сопоставления
ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics
Совет
Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !
Потоки данных доступны в конвейерах как Фабрики данных Azure, так и Azure Synapse. Эта статья относится к потокам данных для сопоставления. Если вы не знакомы с преобразованиями, см. вводную статью Преобразование данных с помощью потока данных для сопоставления.
Ниже приведен список преобразований, которые в настоящее время поддерживаются в потоке данных для сопоставления. Щелкните каждое из этих преобразований, чтобы получить сведения о его настройке.
Имя. | Категория | Description |
---|---|---|
Общая | Модификатор схемы | Определяет различные типы агрегирования, такие как SUM, MIN, MAX и COUNT, сгруппированные по существующим или вычисляемым столбцам. |
Изменение строки | Модификатор ряда | Устанавливает политики вставки, удаления, обновления и вставки с обновлением для ряда. |
Assert | Модификатор ряда | Задайте правила утверждения для каждой строки. |
Cast | Модификатор схемы | Изменение типов данных столбцов с помощью проверки типов. |
Условное разделение | Множественные преобразования ввода/вывода | Перенаправляет строки данных в различные потоки на основе условий сопоставления. |
Производный столбец | Модификатор схемы | Создает новые столбцы или изменяет существующие поля с помощью языка выражений для потока данных. |
Внешний вызов | Модификатор схемы | Вызывает внешние конечные точки в строке по строкам. |
Exists | Множественные преобразования ввода/вывода | Проверяет, существуют ли ваши данные в другом источнике или потоке. |
Фильтр | Модификатор ряда | Фильтрует строку на основе условия. |
Выравнивать | Форматировщики | Берет значения массива внутри иерархических структур, таких как JSON, и разворачивает их в отдельные строки. |
Потоко | Потоки | Создание и включение пользовательской логики преобразования с возможностью повторного использования. |
Присоединение | Множественные преобразования ввода/вывода | Объединяет данные из двух источников или потоков. |
Поиск | Множественные преобразования ввода/вывода | Ссылка на данные из другого источника. |
Новая ветвь | Множественные преобразования ввода/вывода | Применяет нескольких наборов операций и преобразований к одному потоку данных. |
Анализ | Форматировщики | Анализ текстовых столбцов в потоке данных, которые могут иметь формат строк JSON, текста с разделителями или текста XML. |
Сводка | Модификатор схемы | Преобразование уникальных значений строк из одного или нескольких столбцов группирования в отдельные столбцы. |
Rank | Модификатор схемы | Создание упорядоченного ранжирования на основе условий сортировки. |
Select | Модификатор схемы | Создание псевдонимов для столбцов и потоков, удаление столбцов и изменение их порядка. |
Приемник | - | Место назначения для потока данных. |
Сортировать | Модификатор ряда | Сортировка входящих строк в текущем потоке данных. |
Источник | - | Источник данных для потока данных. |
Stringify | Форматировщики | Преобразование сложных типов в простые строки |
Суррогатный ключ | Модификатор схемы | Добавление произвольного значения ключа с приращением. |
Union | Множественные преобразования ввода/вывода | Объединение нескольких потоков данных по вертикали. |
отмена свертывания | Модификатор схемы | Сведение столбцов в значения строк. |
Window | Модификатор схемы | Агрегирует данные в столбцах по окнам в потоке данных. |