Compartilhar via

Dataflow Gen2 com CI/CD e suporte à integração do Git (Versão Prévia)

  • Artigo

O Dataflow Gen2 agora permite CI/CD (integração contínua e entrega contínua) e integração do Git. Esse recurso permite que você crie, edite e gerencie fluxos de dados em um repositório Git conectado ao seu workspace do Fabric. Além disso, você pode usar o recurso de pipelines de implantação para automatizar a implantação de fluxos de dados do workspace para outros workspaces. Este artigo detalha o uso do Dataflow Gen2 com CI/CD e integração do Git no Fabric Data Factory.

Importante

O pipeline de integração e implantação do Git (CI/CD) para fluxos de dados Gen2 no Data Factory para Microsoft Fabric está atualmente em versão preliminar pública. Essas informações estão relacionadas a um produto de pré-lançamento que pode ser substancialmente modificado antes de ser lançado. A Microsoft não faz garantias, expressas ou implícitas, em relação às informações fornecidas aqui.

Novos recursos

Com o Dataflow Gen2 (versão prévia de CI/CD), agora você pode:

  • Usar o suporte à integração do Git no Dataflow Gen2.
  • Usar o recurso de pipelines de implantação para automatizar a implantação de fluxos de dados do workspace para outros workspaces.
  • Usar as configurações e o agendador do Fabric para atualizar e editar as configurações do Dataflow Gen2.
  • Criar seu Dataflow Gen2 diretamente em uma pasta de workspace.

Pré-requisitos

Para começar, você deve concluir os seguintes pré-requisitos:

  • Ter uma conta de locatário do Microsoft Fabric com uma assinatura ativa. Crie uma conta gratuitamente.
  • Verifique se você tem um workspace habilitado para o Microsoft Fabric.
  • Para aproveitar a integração do Git, verifique se ela está habilitada para o seu workspace. Para saber mais sobre como habilitar a integração do Git, acesse Introdução à integração do Git.

Criar um Dataflow Gen2 com CI/CD e suporte ao Git

Para criar um Dataflow Gen2 com CI/CD e suporte ao Git, siga estas etapas:

  1. No workspace do Fabric, selecione Criar novo item e selecione Dataflow Gen2.

    Captura de tela da janela Novo item com o item Dataflow Gen2 enfatizado.

  2. Dê um nome ao fluxo de dados e habilite a integração do Git. Em seguida, selecione Criar.

    Captura de tela da janela Novo Fluxo de Dados Gen2 com o conjunto de nomes de fluxo de dados e a integração do Git enfatizada e selecionada.

    O fluxo de dados é criado e você é redirecionado para a tela de criação do fluxo de dados. Agora você pode iniciar a criação do seu fluxo de dados.

  3. Quando terminar, selecione Salvar e executar.

    Captura de tela do editor do Power Query com o botão Salvar e executar enfatizado.

  4. Depois de publicar, o fluxo de dados tem um status de não confirmado.

    Captura de tela do Dataflow Gen2 salvo com o status mostrado como não confirmado.

  5. Para confirmar o fluxo de dados no repositório Git, selecione o ícone de controle do código-fonte no canto superior direito do modo de exibição do workspace.

    Captura de tela do botão Controle de origem.

  6. Selecione todas as alterações que deseja confirmar e selecione Confirmar.

    Captura de tela da janela Controle de origem com o fluxo de dados selecionado e o botão Confirmar enfatizado.

Agora você tem um Dataflow Gen2 com CI/CD e suporte ao Git. Sugerimos que você siga as práticas recomendadas para trabalhar com CI/CD e integração do Git no Fabric conforme descrito no tutorial Cenário 2 – Desenvolver usando outro workspace.

Atualizar um Dataflow Gen2 ou agendar uma atualização

Você pode atualizar um Dataflow Gen2 com CI/CD e suporte ao Git de duas maneiras: manualmente ou agendando uma atualização. As seções a seguir descrevem como atualizar um Dataflow Gen2 com CI/CD e suporte ao Git.

Atualizar agora

  1. No workspace do Fabric, selecione o ícone de reticências Mais opções ao lado do fluxo de dados que você deseja atualizar.

  2. Selecione Atualizar agora.

    Captura de tela do menu suspenso Mais opções com a opção Atualizar agora enfatizada.

Agendar uma atualização

Se o fluxo de dados precisar ser atualizado em um intervalo regular, você poderá agendar a atualização usando o agendador do Fabric.

  1. No workspace do Fabric, selecione o ícone de reticências Mais opções ao lado do fluxo de dados que você deseja atualizar.

  2. Selecione Agendamento.

    Captura de tela do menu suspenso Mais opções com a opção Agendar enfatizada.

  3. Na página de agendamento, você pode definir a frequência de atualização, a hora de início e a hora de término, e depois disso você pode aplicar as alterações.

    Captura de tela das configurações do fluxo de dados com a guia Agendar selecionada e o botão Atualizar enfatizado.

  4. Para iniciar a atualização agora, selecione o botão Atualizar.

Histórico e configurações de atualização

Para exibir o histórico de atualização do fluxo de dados, selecione a guia Histórico de atualizações no menu suspenso ou vá para o hub de monitoramento e selecione o fluxo de dados para o qual deseja exibir o histórico de atualizações.

Configurações do Dataflow Gen2 com CI/CD

Acessar as configurações do novo Dataflow Gen2 com CI/CD e suporte ao Git é semelhante a qualquer outro item do Fabric. Você pode acessar as configurações selecionando o ícone de reticências Mais opções ao lado do fluxo de dados e selecionando as configurações.

Limitações e problemas conhecidos

Embora o Fluxo de dados Gen2 com suporte a CI/CD e Git ofereça um conjunto poderoso de recursos para colaboração pronta para a empresa, isso exigiu que recompilássemos o back-end para a arquitetura do Fabric. Isso significa que alguns recursos ainda não estão disponíveis ou têm limitações. Estamos trabalhando ativamente para aprimorar a experiência e atualizaremos este artigo à medida que novos recursos forem adicionados.

  • Os artefatos de preparo estão em algumas experiências visíveis, como a interface do usuário do ALM. Os artefatos de preparo ficarão ocultos em todas as experiências no futuro.
  • Quando você exclui o último Dataflow Gen2 com suporte a CI/CD e Git, os artefatos de preparação ficam visíveis no espaço de trabalho e podem ser excluídos com segurança pelo usuário.
  • Algumas experiências mencionam o suporte para APIs REST, mas essas APIs ainda não estão disponíveis. Todo o Dataflow Gen2 com CI/CD e suporte ao Git será compatível com a API Pública do Fabric no futuro.
  • Não é possível orquestrar uma atualização de um Fluxo de Dados Gen2 com CI/CD e suporte ao Git nos pipelines de dados do Fabric.
  • A exibição do workspace não mostra se uma atualização está em andamento para o fluxo de dados.
  • Não é possível exportar o Dataflow.json do menu do workspace. As soluções alternativas que permitem exportar o fluxo de dados são:
    • Use a API Pública do Fabric para obter o Dataflow.json.
    • Use o recurso de modelo do Power Query de exportação para exportar a definição de fluxo de dados.
    • Use o gerenciador do OneLake no workspace para obter a definição de fluxo de dados.
  • O Dataflow Gen2 com CI/CD e suporte ao Git não é compatível com o recurso take ownership no workspace do Fabric. Portanto, somente o criador do fluxo de dados pode editar o fluxo de dados. Se você quiser trabalhar em conjunto em um fluxo de dados, poderá usar ramificações no repositório Git e criar uma solicitação de pull para mesclar as alterações. Para obter mais informações, acesso Cenário 2 – Desenvolver usando outro workspace.
  • Ao ramificar para outro espaço de trabalho, uma atualização do Fluxo de Dados Gen2 pode falhar com a mensagem de que o lakehouse de preparo não pôde ser encontrado. Quando isso acontecer, crie um novo Fluxo de Dados Gen2 com suporte de CI/CD e Git no espaço de trabalho para disparar a criação do lakehouse de preparo. Depois disso, todos os outros fluxos de dados no espaço de trabalho devem começar a funcionar novamente.
  • Ao sincronizar alterações do GIT no workspace, você precisa abrir o fluxo de dados novo ou atualizado e salvar as alterações manualmente com o editor. Isso dispara uma ação de publicação em segundo plano para permitir que as alterações sejam usadas durante a atualização do fluxo de dados.

Estamos comprometidos em aprimorar continuamente o Dataflow Gen2 com suporte de CI/CD e Git e agradecemos sua paciência enquanto trabalhamos nesses aprimoramentos.