Transformação dinâmica no mapeamento do fluxo de dados

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Os fluxos de dados estão disponíveis no Azure Data Factory e no Azure Synapse Pipelines. Este artigo aplica-se ao mapeamento de fluxos de dados. Se você é novo em transformações, consulte o artigo introdutório Transformar dados usando um fluxo de dados de mapeamento.

Use a transformação dinâmica para criar várias colunas a partir dos valores de linha exclusivos de uma única coluna. Pivot é uma transformação de agregação em que você seleciona grupo por colunas e gera colunas dinâmicas usando funções de agregação.

Configuração

A transformação de pivô requer três entradas diferentes: agrupar por colunas, a chave de pivô e como gerar as colunas dinâmicas

Agrupar por

Selecione as colunas sobre as quais agregar as colunas dinâmicas. Os dados de saída agruparão todas as linhas com o mesmo grupo por valores em uma linha. A agregação feita na coluna pivotada ocorrerá sobre cada grupo.

Esta secção é opcional. Se nenhum grupo por colunas for selecionado, todo o fluxo de dados será agregado e apenas uma linha será gerada.

Chave dinâmica

A chave dinâmica é a coluna cujos valores de linha são girados em novas colunas. Por padrão, a transformação de pivô criará uma nova coluna para cada valor de linha exclusivo.

Na seção rotulada Valor, você pode inserir valores de linha específicos a serem pivotados. Somente os valores de linha inseridos nesta seção serão pivotados. Habilitar o valor Nulo criará uma coluna dinâmica para os valores nulos na coluna.

Colunas dinâmicas

Para cada valor de chave dinâmica exclusivo que se torna uma coluna, gere um valor de linha agregado para cada grupo. Você pode criar várias colunas por chave dinâmica. Cada coluna dinâmica deve conter pelo menos uma função agregada.

Padrão de nome de coluna: selecione como formatar o nome da coluna de cada coluna dinâmica. O nome da coluna de saída será uma combinação do valor da chave de pivô, prefixo da coluna e prefixo opcional, sufixo, caracteres do meio.

Disposição das colunas: se você gerar mais de uma coluna dinâmica por chave dinâmica, escolha como deseja que as colunas sejam ordenadas.

Prefixo da coluna: se você gerar mais de uma coluna dinâmica por chave dinâmica, insira um prefixo de coluna para cada coluna. Essa configuração é opcional se você tiver apenas uma coluna dinâmica.

Gráfico de ajuda

O gráfico de ajuda abaixo mostra como os diferentes componentes de pivô interagem entre si

Metadados dinâmicos

Se nenhum valor for especificado na configuração da chave dinâmica, as colunas dinâmicas serão geradas dinamicamente em tempo de execução. O número de colunas dinâmicas será igual ao número de valores exclusivos de chave dinâmica multiplicado pelo número de colunas dinâmicas. Como esse pode ser um número variável, a experiência do usuário não exibirá os metadados da coluna na guia Inspecionar e não haverá propagação de coluna. Para transformar essas colunas, use os recursos de padrão de coluna do fluxo de dados de mapeamento.

Se valores específicos de chave dinâmica forem definidos, as colunas dinâmicas aparecerão nos metadados. Os nomes das colunas estarão disponíveis para você no mapeamento Inspecionar e Coletor.

Gerar metadados a partir de colunas desviadas

O Pivot gera novos nomes de colunas dinamicamente com base em valores de linha. Você pode adicionar essas novas colunas aos metadados que podem ser referenciados posteriormente no seu fluxo de dados. Para fazer isso, use a ação rápida derivada do mapa na visualização de dados.

Afundamento de colunas pivotantes

Embora as colunas dinâmicas sejam dinâmicas, elas ainda podem ser gravadas no armazenamento de dados de destino. Habilite Permitir desvio de esquema nas configurações do coletor. Isso permitirá que você escreva colunas que não estão incluídas nos metadados. Você não verá os novos nomes dinâmicos nos metadados da coluna, mas a opção de desvio de esquema permitirá que você aterrisse os dados.

Voltar a juntar campos originais

A transformação de pivô projetará apenas o grupo por e colunas dinâmicas. Se desejar que os dados de saída incluam outras colunas de entrada, use um padrão de auto-junção .

Script de fluxo de dados

Sintaxe

<incomingStreamName>
    pivot(groupBy(Tm),
        pivotBy(<pivotKeyColumn, [<specifiedColumnName1>,...,<specifiedColumnNameN>]),
        <pivotColumnPrefix> = <pivotedColumnValue>,
        columnNaming: '< prefix >< $N | $V ><middle >< $N | $V >< suffix >',
        lateral: { 'true' | 'false'}
    ) ~> <pivotTransformationName

Exemplo

As telas mostradas na seção de configuração têm o seguinte script de fluxo de dados:

BasketballPlayerStats pivot(groupBy(Tm),
    pivotBy(Pos),
    {} = count(),
    columnNaming: '$V$N count',
    lateral: true) ~> PivotExample

Conteúdos relacionados

Tente a transformação despivotada para transformar valores de coluna em valores de linha.