O que são fluxos de dados no Azure Synapse Analytics?

Os fluxos de dados são transformações de dados visualmente projetadas no Azure Synapse Analytics. Eles permitem que os engenheiros de dados desenvolvam a lógica de transformação de dados sem escrever código. Os fluxos de dados resultantes são executados como atividades em pipelines do Azure Synapse Analytics que usam clusters do Apache Spark expandidos. As atividades de fluxo de dados podem ser operacionalizadas por meio das funcionalidades existentes de agendamento, controle, fluxo e monitoramento do Azure Synapse Analytics.

Os fluxos de dados fornecem uma experiência totalmente visual sem necessidade de codificação. Eles são executados em clusters de execução gerenciados pelo Synapse para processamento de dados expandido. O Azure Synapse Analytics cuida de toda a conversão de código, da otimização de caminho e da execução dos seus trabalhos de fluxo de dados.

Introdução

Os fluxos de dados são criados no painel Desenvolver do Synapse Studio. Para criar um fluxo de dados, selecione o sinal de adição ao lado de Desenvolver e escolha Fluxo de Dados.

Essa ação leva você para a tela de fluxo de dados, na qual você pode criar a lógica de transformação. Selecione Adicionar origem para começar a configurar sua transformação de origem. Para obter mais informações, confira Transformação de origem.

Criar fluxos de dados

O fluxo de dados tem uma tela de criação exclusiva projetada para facilitar a criação da lógica de transformação. A tela de fluxo de dados é dividida em três partes: a barra superior, o grafo e o painel de configuração.

Grafo

O grafo exibe o fluxo de transformação. Ele mostra a linhagem dos dados de origem conforme eles fluem em um ou mais coletores. Para adicionar uma nova origem, selecione Adicionar origem. Para adicionar uma nova transformação, selecione o sinal de adição no canto inferior direito de uma transformação existente. Saiba mais sobre como gerenciar o grafo de fluxo de dados.

Painel de configuração

O painel de configuração mostra as configurações específicas para a transformação selecionada no momento. Se nenhuma transformação for selecionada, ele mostrará o fluxo de dados. Na configuração geral do fluxo de dados, você pode adicionar parâmetros por meio da guia Parâmetros. Para obter mais informações, confira Parâmetros de fluxo de dados.

Cada transformação contém pelo menos quatro guias de configuração.

Configurações de transformação

A primeira guia em cada painel de configuração de transformação contém as configurações específicas para essa transformação. Para obter mais informações, confira a página de documentação da transformação.

Otimizar

A guia Otimizar contém configurações para esquemas de particionamento. Para saber mais sobre como otimizar seus fluxos de dados, confira o Guia de desempenho do fluxo de dados de mapeamento.

Inspecionar

A guia Inspecionar fornece uma exibição dos metadados do fluxo de dados que você está transformando. Você pode ver as contagens de colunas, as colunas alteradas, as colunas adicionadas, os tipos de dados, a ordem das colunas e as referências das colunas. Inspecionar é uma exibição somente leitura de seus metadados. Você não precisa ter o modo de depuração habilitado para ver os metadados no painel Inspecionar.

À medida que você altera a forma de seus dados por meio de transformações, vê os metadados alterarem o fluxo por meio do painel Inspecionar. Se não houver um esquema definido na sua transformação de origem, então metadados não estão visíveis no painel Inspecionar. A falta de metadados é comum em cenários de descompasso de esquema.

Visualização dos dados

Se o modo de depuração estiver ativado, a guia Visualização de Dados fornecerá um instantâneo interativo dos dados em cada transformação. Para obter mais informações, confira Visualização de dados no modo de depuração.

Barra superior

A barra superior contém ações que afetam todo o fluxo de dados, como as configurações de validação e de depuração. Você também pode exibir o código JSON subjacente e o script de fluxo de dados da sua lógica de transformação.

Transformações disponíveis

Exiba a visão geral de transformação fluxo de dados de mapeamento para obter uma lista das transformações disponíveis.

Atividade de fluxo de dados

Os fluxos de dados são operados nos pipelines do Azure Synapse Analytics usando a atividade de fluxo de dados. Basta que o usuário especifique qual runtime de integração usar e passe os valores de parâmetro. Para obter mais informações, confira Runtime de integração do Azure.

Modo de depuração

O modo de depuração permite ver interativamente os resultados de cada etapa de transformação enquanto você cria e depura seus fluxos de dados. A sessão de depuração pode ser usada ao criar sua lógica de fluxo de dados e ao executar depuração de pipeline com atividades de fluxo de dados. Para saber mais, confira a documentação do modo de depuração.

Monitorar fluxos de dados

O fluxo de dados integra-se aos recursos de monitoramento existentes do Azure Synapse Analytics. Para saber como entender a saída de monitoramento do fluxo de dados, confira monitoramento de fluxos de dados de mapeamento.

A equipe do Azure Synapse Analytics criou um guia de ajuste de desempenho para ajudar você a otimizar o tempo de execução de seus fluxos de dados depois de criar a lógica de negócios.

Conteúdo relacionado

• Saiba como criar uma transformação de origem.
• Saiba como criar fluxos de dados no modo de depuração.