Compreender os pipelines

  • 6 minutos

Os pipelines no Microsoft Fabric encapsulam uma sequência de atividades que executam tarefas de movimentação e processamento de dados. Você pode usar um pipeline para definir atividades de transferência e transformação de dados e orquestrar essas atividades por meio de atividades de fluxo de controle que gerenciam ramificação, looping e outra lógica de processamento típica. A tela de pipeline gráfico na interface do usuário do Fabric permite que você crie pipelines complexos com pouca ou nenhuma codificação necessária.

Captura de tela de um pipeline no Microsoft Fabric.

Principais conceitos de pipeline

Antes de criar pipelines no Microsoft Fabric, você deve entender alguns conceitos principais.

Atividades

Atividades são as tarefas executáveis em um pipeline. Você pode definir um fluxo de atividades conectando-as em uma sequência. O resultado de uma atividade específica (sucesso, falha ou conclusão) pode ser usado para direcionar o fluxo para a próxima atividade na sequência.

Há duas grandes categorias de atividades em um pipeline.

  • Atividades de transformação de dados - atividades que encapsulam operações de transferência de dados, incluindo atividades simples de cópia de dados que extraem dados de uma fonte e os carregam para um destino, e atividades mais complexas de fluxo de dados que encapsulam fluxos de dados (Gen2) que aplicam transformações aos dados à medida que são transferidos. Outras atividades de transformação de dados incluem atividades do Bloco de Anotações para executar um bloco de anotações do Spark, Atividades de procedimento armazenado para executar código SQL, Excluir atividades de dados para excluir dados existentes e outras. No OneLake, você pode configurar o destino para uma casa de lago, depósito, banco de dados SQL ou outras opções.

  • Atividades de fluxo de controle - atividades que você pode usar para implementar loops, ramificações condicionais ou gerenciar valores de variáveis e parâmetros. A ampla gama de atividades de fluxo de controle permite implementar lógica de pipeline complexa para orquestrar a ingestão de dados e o fluxo de transformação.

Gorjeta

Para obter detalhes sobre o conjunto completo de atividades de pipeline disponíveis no Microsoft Fabric, consulte Visão geral da atividade na documentação do Microsoft Fabric.

Parâmetros

Os pipelines podem ser parametrizados, permitindo que você forneça valores específicos a serem usados cada vez que um pipeline é executado. Por exemplo, talvez você queira usar um pipeline para salvar dados ingeridos em uma pasta, mas tenha a flexibilidade de especificar um nome de pasta sempre que o pipeline for executado.

O uso de parâmetros aumenta a reutilização de seus pipelines, permitindo que você crie processos flexíveis de ingestão e transformação de dados.

Execuções de pipeline

Cada vez que um pipeline é executado, uma execução de pipeline de dados é iniciada. As execuções podem ser iniciadas sob demanda na interface do usuário do Fabric ou agendadas para iniciar em uma frequência específica. Use o ID de execução exclusivo para revisar os detalhes da execução para confirmar que eles foram concluídos com êxito e investigar as configurações específicas usadas para cada execução.