Поделиться через

Преобразование "Сортировка" в потоке данных для сопоставления

  • Статья

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

Потоки данных доступны в конвейерах как Фабрики данных Azure, так и Azure Synapse. Эта статья относится к потокам данных для сопоставления. Если вы не знакомы с преобразованиями, см. вводную статью Преобразование данных с помощью потока данных для сопоставления.

Преобразование "Сортировка" позволяет сортировать входящие строки в текущем потоке данных. Можно выбрать отдельные столбцы и отсортировать их в порядке возрастания или убывания.

Примечание.

Потоки данных для сопоставления выполняются в кластерах Spark, которые распределяют данные между несколькими узлами и секциями. Если вы решили повторно секционировать данные при последующим преобразовании, сортировка данных может нарушиться из-за перегруппировки данных. Лучшим способом поддержания порядка сортировки в потоке данных является установка одной секции на вкладке "Оптимизация" в режим преобразования и поддерживание преобразования "Сортировка" как можно ближе к приемнику.

Настройка

Параметры сортировки

Без учета регистра. Следует ли учитывать регистр при сортировке строковых или текстовых полей.

Сортировать только внутри секций. Так как потоки данных выполняются в Spark, каждый поток данных делится на секции. Этот параметр позволяет сортировать данные только во входящих секциях вместо сортировки всего потока данных.

Условия сортировки. Выберите столбцы, по которым выполняется сортировка, и порядок сортировки. Порядок определяет приоритет сортировки. Выберите, где будут отображаться значения NULL: в начале или в конце потока данных.

Вычисляемые столбцы

Чтобы изменить или извлечь значение столбца перед применением сортировки, наведите указатель мыши на столбец и выберите "Вычисляемый столбец". Откроется построитель выражений, в котором можно создать выражение для операции сортировки вместо использования значения столбца.

Скрипт потока данных

Синтаксис

<incomingStream>
    sort(
        desc(<sortColumn1>, { true | false }),
        asc(<sortColumn2>, { true | false }),
        ...
    ) ~> <sortTransformationName<>

Пример

Параметры сортировки

Скрипт потока данных для приведенной выше конфигурации сортировки находится в фрагменте кода ниже.

BasketballStats sort(desc(PTS, true),
    asc(Age, true)) ~> Sort1

Связанный контент

После сортировки может потребоваться использовать преобразование "Статистическая обработка".