Descrever os tipos de transformação do Azure Data Factory
O mapeamento de fluxos de dados fornece vários tipos de transformações diferentes que permitem modificar dados. Dividem-se nas seguintes categorias:
| Nome da categoria | Descrição |
|---|---|
| Transformações modificadoras de esquema | Esses tipos de transformações farão uma modificação em um destino de coletor criando novas colunas com base na ação da transformação. Um exemplo disso é a transformação Coluna Derivada que criará uma nova coluna com base nas operações executadas na coluna existente. |
| Transformações do modificador de linha | Esses tipos de transformações afetam a forma como as linhas são apresentadas no destino. Um exemplo disso é uma transformação Sort que ordena os dados. |
| Múltiplas transformações de entradas/saídas | Esses tipos de transformações gerarão novos pipelines de dados ou mesclarão pipelines em um. Um exemplo disso é a transformação da União, que combina vários fluxos de dados. |
Abaixo está uma lista de transformações que estão disponíveis no mapeamento de fluxos de dados
| Nome | Categoria | Descrição |
|---|---|---|
| Agregado | Modificador de esquema | Defina diferentes tipos de agregações, como SUM, MIN, MAX e COUNT agrupadas por colunas existentes ou computadas. |
| Alterar linha | Modificador de linha | Defina políticas de inserção, exclusão, atualização e atualização em linhas. Você pode adicionar condições um-para-muitos como expressões. Essas condições devem ser especificadas em ordem de prioridade, pois cada linha será marcada com a política correspondente à primeira expressão correspondente. Cada uma dessas condições pode resultar em uma linha (ou linhas) sendo inserida, atualizada, excluída ou atualizada. O Alter Row pode produzir ações DDL ou DML em seu banco de dados. |
| Divisão condicional | Várias entradas/saídas | Encaminhe linhas de dados para diferentes fluxos com base em condições correspondentes. |
| Coluna derivada | Modificador de esquema | Gere novas colunas ou modifique campos existentes usando a linguagem de expressão de fluxo de dados. |
| Existe | Várias entradas/saídas | Verifique se seus dados existem em outra fonte ou fluxo. |
| Filtro | Modificador de linha | Filtrar uma linha com base em uma condição. |
| Achatar | Modificador de esquema | Pegue valores de matriz dentro de estruturas hierárquicas, como JSON, e desenrole-os em linhas individuais. |
| Join | Várias entradas/saídas | Combine dados de duas fontes ou fluxos. |
| Pesquisa | Várias entradas/saídas | Permite fazer referência a dados de outra fonte. |
| Nova sucursal | Várias entradas/saídas | Aplique vários conjuntos de operações e transformações no mesmo fluxo de dados. |
| Pivô | Modificador de esquema | Uma agregação em que uma ou mais colunas de agrupamento tem valores de linha distintos transformados em colunas individuais. |
| Seleccionar | Modificador de esquema | Colunas de alias e nomes de fluxo e soltar ou reordenar colunas. |
| Pia | - | Um destino final para os seus dados. |
| Ordenação | Modificador de linha | Classifique as linhas de entrada no fluxo de dados atual. |
| Source | - | Uma fonte de dados para o fluxo de dados. |
| Chave substituta | Modificador de esquema | Adicione um valor de chave arbitrário não comercial incremental. |
| União | Várias entradas/saídas | Combine vários fluxos de dados verticalmente. |
| Despivotar | Modificador de esquema | Gire colunas em valores de linha. |
| Janela | Modificador de esquema | Defina agregações de colunas baseadas em janelas em seus fluxos de dados. |
Construtor de expressões de fluxo de dados
Algumas das transformações que você pode definir têm um Construtor de Expressões de Fluxo de Dados que permitirá personalizar a funcionalidade de uma transformação usando colunas, campos, variáveis, parâmetros, funções do seu fluxo de dados nessas caixas.
Para criar a expressão, use o Construtor de Expressões, que é iniciado clicando na caixa de texto da expressão dentro da transformação. Às vezes, você também verá as opções "Coluna computada" ao selecionar colunas para transformação. Ao clicar nisso, você também verá o Construtor de Expressões iniciado.
A ferramenta Construtor de Expressões assume como padrão a opção do editor de texto. O recurso de preenchimento automático lê todo o modelo de objeto do Fluxo de Dados do Azure Data Factory com verificação e realce de sintaxe.