Visão geral de atividade
Este artigo o ajuda a compreender os pipelines e as atividades no Microsoft Fabric e a usá-los para construir fluxos de trabalho orientados por dados de ponta a ponta nos seus cenários de movimentação e processamento de dados.
Visão geral
Um Espaço de Trabalho do Microsoft Fabric pode ter um ou mais pipelines. Um pipeline é um agrupamento lógico de atividades que juntas executam uma tarefa. Por exemplo, um pipeline pode conter um conjunto de atividades que ingerem e limpam os dados de log e disparam um fluxo de dados de mapeamento para analisar os dados de log. O pipeline permite que você gerencie as atividades como um conjunto, em vez de cada uma individualmente. Você implanta e agenda o pipeline em vez das atividades de maneira independente.
As atividades de um pipeline definem as ações a serem executadas nos seus dados. Por exemplo, você pode usar uma atividade Copy para copiar dados do SQL Server para um Armazenamento de Blobs do Azure. Em seguida, use uma atividade do Fluxo de Dados ou uma atividade do Notebook para processar e transformar dados do armazenamento de blob em um pool do Azure Synapse Analytics que será usado para criar soluções de relatórios de business intelligence.
O Microsoft Fabric dá suporte a três tipos de atividades: atividades de movimentação de dados, atividades de transformação de dados e atividades de controle.
Atividades de movimentação de dados
A Atividade de cópia no Microsoft Fabric copia os dados de um repositório de dados de origem para um repositório de dados de coletor. O Fabric é compatível com os armazenamentos de dados listados no artigo Visão geral do Conector. Os dados de qualquer origem podem ser gravados em qualquer coletor.
Para obter mais informações, consulte Como copiar dados usando a atividade de cópia.
Atividades de transformação de dados
O Microsoft Fabric oferece suporte às seguintes atividades de transformação que podem ser adicionadas individualmente ou em cadeia com outra atividade.
Para obter mais informações, confira o artigo Atividades de transformação de dados.
| Atividade de transformação de dados | Ambiente de computação |
|---|---|
| Copiar dados | Gerenciador de computação do Microsoft Fabric |
| Fluxo de Dados Gen2 | Gerenciador de computação do Microsoft Fabric |
| Excluir os dados | Gerenciador de computação do Microsoft Fabric |
| Notebook do Fabric | Clusters do Apache Spark gerenciados pelo Microsoft Fabric |
| Atividade de HDInsight | Clusters do Apache Spark gerenciados pelo Microsoft Fabric |
| Definição de Trabalho do Spark | Clusters do Apache Spark gerenciados pelo Microsoft Fabric |
| Procedimento armazenado | SQL do Azure, Azure Synapse Analytics ou SQL Server |
| Script SQL | SQL do Azure, Azure Synapse Analytics ou SQL Server |
Atividades de fluxo de controle
Há suporte para as seguintes atividades de fluxo de controle:
| Atividade de controle | Descrição |
|---|---|
| Acrescentar variável | Adicionar um valor a uma variável de matriz. |
| Atividade do Lote do Azure | Executa um script do Lote do Azure. |
| Atividade do Azure Databricks | Executa um trabalho do Azure Databricks (Notebook, Jar, Python). |
| Atividade do Azure Machine Learning | Executa um trabalho do Azure Machine Learning. |
| Desativar atividade | Desativa outra atividade. |
| Falha | Fazer com que a execução do pipeline falhe com uma mensagem de erro personalizada e um código de erro. |
| Filter | Aplicar uma expressão de filtro a uma matriz de entrada. |
| ForEach | A atividade ForEach define um fluxo de controle repetitivo no seu pipeline. Essa atividade é usada para iterar em uma coleção e executa atividades especificadas em um loop. A implementação dessa atividade em loop é semelhante à estrutura em loop Foreach nas linguagens de programação. |
| Atividade de funções | Executa uma Função do Azure. |
| Obter metadados | A atividade GetMetadata pode ser usada para recuperar metadados de todos os dados em um pipeline do Data Factory ou do Synapse. |
| If condition | A Condição If pode ser usada para ramificar com base em condições que são avaliadas como true ou false. A atividade If Condition fornece a mesma funcionalidade que uma instrução if fornece em linguagens de programação. Ela avalia um conjunto de atividades quando a condição é avaliada como true e outro conjunto de atividades quando a condição é avaliada como false. |
| Invocar pipeline | A atividade Execute Pipeline permite que um pipeline do Data Factory ou do Synapse invoque outro pipeline. |
| Atividade KQL | Executa um script KQL em uma instância do Kusto. |
| Atividade de pesquisa | A atividade de pesquisa pode ser usada para ler ou procurar um registro/nome de tabela/valor de qualquer fonte externa. Essa saída pode referenciada pelas atividades com êxito. |
| Definir variável | Definir o valor de uma variável que já existe. |
| Atividade do Comutador | Implementa uma expressão de comutador que permite várias atividades subsequentes para cada resultado potencial da expressão. |
| Atividade do Teams | Posta uma mensagem em um canal do Teams ou chat em grupo. |
| Atividade Until | Implementa o loop Do-Until, que é semelhante à estrutura de looping Do-Until em linguagens de programação. Ela executa um conjunto de atividades em um loop até que a condição associada à atividade seja avaliada como verdadeira. Você pode especificar um valor de tempo limite para a atividade Until. |
| Atividade de espera | Quando você usa uma atividade de espera em um pipeline, o pipeline aguarda o tempo especificado antes de continuar com a execução de atividades subsequentes. |
| Atividade da Web | A atividade da Web pode ser usada para chamar um ponto de extremidade REST personalizado de um pipeline. |
| Atividade de webhook | Usando a atividade de webhook, chame um ponto de extremidade e passe uma URL de retorno de chamada. A execução do pipeline aguarda a chamada do retorno de chamada para prosseguir com a próxima atividade. |
Adicionar atividades a um pipeline com a interface do usuário do Microsoft Fabric
Use estas etapas para adicionar e configurar atividades em um pipeline do Microsoft Fabric:
- Crie um pipeline no seu workspace.
- Na guia Atividades do pipeline, navegue pelas atividades exibidas, rolando para a direita, se necessário, para ver todas as atividades. Selecione uma atividade para adicioná-la ao editor de pipeline.
- Quando você adiciona uma atividade e a seleciona na tela do editor de pipeline, suas configurações Geral aparecerão no painel de propriedades abaixo da tela.
- Cada atividade também contém propriedades personalizadas específicas para sua configuração em outras guias no painel de propriedades.
Configurações gerais
Ao adicionar uma nova atividade a um pipeline e selecioná-la, você verá seus painéis de propriedades na área na parte inferior da tela. Esses painéis de propriedades incluem Geral, Configurações e, às vezes, outros painéis.
As configurações gerais sempre incluirão os campos Nome e Descrição de cada atividade. Algumas atividades também incluem o seguinte:
| Configuração | Descrição |
|---|---|
| Tempo limite | O tempo máximo de execução de uma atividade. O padrão é de 12 horas e o tempo máximo permitido é de sete dias. O formato do tempo limite está em D.HH:MM:SS. |
| Repetir | O número máximo de tentativas de repetição. |
| (Propriedades avançadas) Intervalo de repetição (s) | Quantos segundos entre cada tentativa de repetição. |
| (Propriedades avançadas) Saída segura | Quando marcada, a saída da atividade não será capturada no log. |
| (Propriedades avançadas) Entrada segura | Quando marcada, a entrada da atividade não será capturada no log de eventos. |
Observação
Há um limite padrão flexível de no máximo 80 atividades por pipeline, que inclui atividades internas para contêineres.