Partilhar via

Dataflow Gen2 com suporte à integração CI/CD e Git (Preview)

  • Artigo

O Dataflow Gen2 agora suporta Integração Contínua/Implantação Contínua (CI/CD) e integração Git. Esse recurso permite criar, editar e gerenciar fluxos de dados em um repositório Git conectado ao seu espaço de trabalho de malha. Além disso, você pode usar o recurso de pipelines de implantação para automatizar a implantação de fluxos de dados do seu espaço de trabalho para outros espaços de trabalho. Este artigo aprofunda como usar o Dataflow Gen2 com integração de CI/CD e Git no Fabric Data Factory.

Importante

O pipeline de integração e implantação do Git (CI/CD) para Dataflows Gen2 no Data Factory for Microsoft Fabric está atualmente em visualização pública. Estas informações referem-se a um produto de pré-lançamento que pode ser substancialmente modificado antes de ser lançado. A Microsoft não oferece garantias, expressas ou implícitas, em relação às informações fornecidas aqui.

Novas funcionalidades

Com o Dataflow Gen2 (visualização CI/CD), agora você pode:

  • Use o suporte de integração Git para Dataflow Gen2.
  • Use o recurso de pipelines de implantação para automatizar a implantação de fluxos de dados do seu espaço de trabalho para outros espaços de trabalho.
  • Use as configurações e o agendador de malha para atualizar e editar as configurações do Dataflow Gen2.
  • Crie seu Dataflow Gen2 diretamente em uma pasta de espaço de trabalho.

Pré-requisitos

Para começar, você deve preencher os seguintes pré-requisitos:

  • Ter uma conta de locatário do Microsoft Fabric com uma assinatura ativa. Crie uma conta gratuitamente.
  • Verifique se você tem um espaço de trabalho habilitado para Microsoft Fabric.
  • Para aproveitar a integração com o Git, verifique se ele está habilitado para seu espaço de trabalho. Para saber mais sobre como habilitar a integração do Git, vá para Introdução à integração do Git.

Crie um Dataflow Gen2 com suporte a CI/CD e Git

Para criar um Dataflow Gen2 com suporte a CI/CD e Git, siga estas etapas:

  1. No espaço de trabalho Malha, selecione Criar novo item e, em seguida, selecione Dataflow Gen2.

    Captura de tela da janela Novo item com o item Dataflow Gen2 enfatizado.

  2. Dê um nome ao seu fluxo de dados e habilite a integração do Git. Depois, selecione Criar.

    Captura de tela da janela New Dataflow Gen2 com o nome do fluxo de dados definido e a integração com o Git enfatizada e selecionada.

    O fluxo de dados é criado e você é redirecionado para a tela de criação do fluxo de dados. Agora você pode começar a criar seu fluxo de dados.

  3. Quando terminar, selecione Salvar e executar.

    Captura de ecrã do editor do Power Query com o botão Guardar e executar realçado.

  4. Depois de publicar, o fluxo de dados tem um status de não confirmado.

    Captura de tela do Dataflow Gen2 salvo com o status mostrado como não confirmado.

  5. Para confirmar o fluxo de dados no repositório Git, selecione o ícone de controle do código-fonte no canto superior direito da visualização do espaço de trabalho.

    Captura de tela do botão Controle do código-fonte.

  6. Selecione todas as alterações que deseja confirmar e, em seguida, selecione Confirmar.

    Captura de tela da janela Controle do código-fonte com o fluxo de dados selecionado e o botão Confirmar enfatizado.

Agora você tem um Dataflow Gen2 com suporte a CI/CD e Git. Sugerimos que você siga as práticas recomendadas para trabalhar com integração de CI/CD e Git no Fabric descritas no tutorial Cenário 2 - Desenvolver usando outro espaço de trabalho .

Atualizar um Dataflow Gen2 ou agendar uma atualização

Você pode atualizar um Dataflow Gen2 com suporte a CI/CD e Git de duas maneiras: manualmente ou agendando uma atualização. As seções a seguir descrevem como atualizar um Dataflow Gen2 com suporte a CI/CD e Git.

Atualizar agora

  1. No espaço de trabalho de malha, selecione o ícone de reticências de mais opções ao lado do fluxo de dados que você deseja atualizar.

  2. Selecione Atualizar agora.

    Captura de tela do menu suspenso de mais opções com as opções Atualizar agora enfatizadas.

Agendar uma atualização

Se o fluxo de dados precisar ser atualizado em um intervalo regular, você poderá agendar a atualização usando o Agendador de malha.

  1. No espaço de trabalho Malha, selecione o ícone de reticências de mais opções ao lado do fluxo de dados que você deseja atualizar.

  2. Selecione Agendar.

    Captura de tela do menu suspenso de mais opções com a opção Agendar enfatizada.

  3. Na página de agendamento, você pode definir a frequência de atualização e a hora de início e de término, após as quais você pode aplicar alterações.

    Captura de tela da tela de configurações do fluxo de dados com a guia Agenda selecionada e o botão Atualizar enfatizado.

  4. Para iniciar a atualização agora, selecione o botão Atualizar .

Atualizar histórico e configurações

Para exibir o histórico de atualizações do fluxo de dados, você pode selecionar a guia Histórico de atualizações no menu suspenso ou ir para o hub do monitor e selecionar o fluxo de dados do qual deseja exibir o histórico de atualizações.

Configurações para Dataflow Gen2 com CI/CD

O acesso às configurações do novo Dataflow Gen2 com suporte a CI/CD e Git é semelhante a qualquer outro item de malha. Você pode acessar as configurações selecionando o ícone de reticências de mais opções ao lado do fluxo de dados e selecionando as configurações.

Problemas conhecidos e de limitações

Embora o Dataflow Gen2 com suporte a CI/CD e Git ofereça um poderoso conjunto de recursos para colaboração pronta para empresas, isso exigiu que reconstruíssemos o back-end para a arquitetura de malha. Isso significa que alguns recursos ainda não estão disponíveis ou têm limitações. Estamos trabalhando ativamente para melhorar a experiência e atualizaremos este artigo à medida que novos recursos forem adicionados.

  • Os artefatos de preparo estão em algumas experiências visíveis, como a interface do usuário do ALM. Os artefatos de encenação serão escondidos em todas as experiências no futuro.
  • Quando você exclui o último Dataflow Gen2 com suporte a CI/CD e Git, os artefatos de preparo ficam visíveis no espaço de trabalho e são seguros para serem excluídos pelo usuário.
  • Algumas experiências mencionam suporte para APIs REST, mas essas APIs ainda não estão disponíveis. Todos os Dataflow Gen2 com suporte a CI/CD e Git suportarão a API pública de malha no futuro.
  • Orquestrar uma atualização de um Dataflow Gen2 com suporte a CI/CD e Git não é possível em pipelines de dados de malha.
  • O modo de exibição de espaço de trabalho não mostra se uma atualização está em andamento para o fluxo de dados.
  • O copiloto para Dataflow Gen2 com suporte a CI/CD e Git ainda não está disponível.
  • As conexões do VNet Gateway ainda não são suportadas na experiência de criação de fluxo de dados.
  • Não é possível exportar o Dataflow.json do menu do espaço de trabalho. As soluções alternativas que permitem exportar o fluxo de dados são:
    • Use a API pública de malha para obter o Dataflow.json.
    • Use o recurso exportar modelo de power query para exportar a definição de fluxo de dados.
    • Use o explorador do OneLake para o espaço de trabalho para obter a definição de fluxo de dados.
  • O Dataflow Gen2 com suporte a CI/CD e Git não suporta o recurso de assumir a propriedade no espaço de trabalho Fabric. Portanto, somente o criador do fluxo de dados pode editar o fluxo de dados. Se quiser trabalhar em conjunto em um fluxo de dados, você pode usar ramificações no repositório Git e criar uma solicitação pull para mesclar as alterações. Para obter mais informações, vá para Cenário 2 - Desenvolver usando outro espaço de trabalho.
  • Ao ramificar para outro espaço de trabalho, uma atualização do Dataflow Gen2 pode falhar com a mensagem de que a casa do lago de preparo não pôde ser encontrada. Quando isso acontecer, crie um novo Dataflow Gen2 com suporte a CI/CD e Git no espaço de trabalho para acionar a criação do lago de preparação. Depois disso, todos os outros fluxos de dados no espaço de trabalho devem começar a funcionar novamente.
  • Quando você cria um novo item em seu espaço de trabalho, ele pode mostrar o item "Dataflow Gen2 (CI/CD, visualização)". Ignore este e siga as instruções descritas neste artigo. Pode levar algum tempo até que sua região mostre a caixa de seleção para habilitar o suporte a CI/CD e Git.
  • O Fast Copy pode não estar habilitado por padrão em seu fluxo de dados. Você pode habilitar isso usando as configurações de fluxo de dados.
  • As conexões que usam um Gateway de Dados local estão atualmente causando problemas na atualização do fluxo de dados. Recomendamos utilizar um método diferente para transferir dados de fontes de dados locais para a infraestrutura.

Estamos comprometidos em melhorar continuamente o Dataflow Gen2 com suporte a CI/CD e Git e agradecemos sua paciência enquanto trabalhamos nessas melhorias.