Dataflow Gen2 com CI/CD e suporte à integração do Git (Versão Prévia)
O Dataflow Gen2 agora permite CI/CD (integração contínua e entrega contínua) e integração do Git. Esse recurso permite que você crie, edite e gerencie fluxos de dados em um repositório Git conectado ao seu workspace do Fabric. Além disso, você pode usar o recurso de pipelines de implantação para automatizar a implantação de fluxos de dados do workspace para outros workspaces. Este artigo detalha o uso do Dataflow Gen2 com CI/CD e integração do Git no Fabric Data Factory.
Importante
O pipeline de integração e implantação do Git (CI/CD) para fluxos de dados Gen2 no Data Factory para Microsoft Fabric está atualmente em versão preliminar pública. Essas informações estão relacionadas a um produto de pré-lançamento que pode ser substancialmente modificado antes de ser lançado. A Microsoft não faz garantias, expressas ou implícitas, em relação às informações fornecidas aqui.
Novos recursos
Com o Dataflow Gen2 (versão prévia de CI/CD), agora você pode:
- Usar o suporte à integração do Git no Dataflow Gen2.
- Usar o recurso de pipelines de implantação para automatizar a implantação de fluxos de dados do workspace para outros workspaces.
- Usar as configurações e o agendador do Fabric para atualizar e editar as configurações do Dataflow Gen2.
- Criar seu Dataflow Gen2 diretamente em uma pasta de workspace.
Pré-requisitos
Para começar, você deve concluir os seguintes pré-requisitos:
- Ter uma conta de locatário do Microsoft Fabric com uma assinatura ativa. Crie uma conta gratuitamente.
- Verifique se você tem um workspace habilitado para o Microsoft Fabric.
- Para aproveitar a integração do Git, verifique se ela está habilitada para o seu workspace. Para saber mais sobre como habilitar a integração do Git, acesse Introdução à integração do Git.
Criar um Dataflow Gen2 com CI/CD e suporte ao Git
Para criar um Dataflow Gen2 com CI/CD e suporte ao Git, siga estas etapas:
No workspace do Fabric, selecione Criar novo item e selecione Dataflow Gen2.
Dê um nome ao fluxo de dados e habilite a integração do Git. Em seguida, selecione Criar.
O fluxo de dados é criado e você é redirecionado para a tela de criação do fluxo de dados. Agora você pode iniciar a criação do seu fluxo de dados.
Quando terminar, selecione Salvar e executar.
Depois de publicar, o fluxo de dados tem um status de não confirmado.
Para confirmar o fluxo de dados no repositório Git, selecione o ícone de controle do código-fonte no canto superior direito do modo de exibição do workspace.
Selecione todas as alterações que deseja confirmar e selecione Confirmar.
Agora você tem um Dataflow Gen2 com CI/CD e suporte ao Git. Sugerimos que você siga as práticas recomendadas para trabalhar com CI/CD e integração do Git no Fabric conforme descrito no tutorial Cenário 2 – Desenvolver usando outro workspace.
Atualizar um Dataflow Gen2 ou agendar uma atualização
Você pode atualizar um Dataflow Gen2 com CI/CD e suporte ao Git de duas maneiras: manualmente ou agendando uma atualização. As seções a seguir descrevem como atualizar um Dataflow Gen2 com CI/CD e suporte ao Git.
Atualizar agora
No workspace do Fabric, selecione o ícone de reticências Mais opções ao lado do fluxo de dados que você deseja atualizar.
Selecione Atualizar agora.
Agendar uma atualização
Se o fluxo de dados precisar ser atualizado em um intervalo regular, você poderá agendar a atualização usando o agendador do Fabric.
No workspace do Fabric, selecione o ícone de reticências Mais opções ao lado do fluxo de dados que você deseja atualizar.
Selecione Agendamento.
Na página de agendamento, você pode definir a frequência de atualização, a hora de início e a hora de término, e depois disso você pode aplicar as alterações.
Para iniciar a atualização agora, selecione o botão Atualizar.
Histórico e configurações de atualização
Para exibir o histórico de atualização do fluxo de dados, selecione a guia Histórico de atualizações no menu suspenso ou vá para o hub de monitoramento e selecione o fluxo de dados para o qual deseja exibir o histórico de atualizações.
Configurações do Dataflow Gen2 com CI/CD
Acessar as configurações do novo Dataflow Gen2 com CI/CD e suporte ao Git é semelhante a qualquer outro item do Fabric. Você pode acessar as configurações selecionando o ícone de reticências Mais opções ao lado do fluxo de dados e selecionando as configurações.
Limitações e problemas conhecidos
Embora o Fluxo de dados Gen2 com suporte a CI/CD e Git ofereça um conjunto poderoso de recursos para colaboração pronta para a empresa, isso exigiu que recompilássemos o back-end para a arquitetura do Fabric. Isso significa que alguns recursos ainda não estão disponíveis ou têm limitações. Estamos trabalhando ativamente para aprimorar a experiência e atualizaremos este artigo à medida que novos recursos forem adicionados.
- Os artefatos de preparo estão em algumas experiências visíveis, como a interface do usuário do ALM. Os artefatos de preparo ficarão ocultos em todas as experiências no futuro.
- Quando você exclui o último Dataflow Gen2 com suporte a CI/CD e Git, os artefatos de preparação ficam visíveis no espaço de trabalho e podem ser excluídos com segurança pelo usuário.
- Algumas experiências mencionam o suporte para APIs REST, mas essas APIs ainda não estão disponíveis. Todo o Dataflow Gen2 com CI/CD e suporte ao Git será compatível com a API Pública do Fabric no futuro.
- Não é possível orquestrar uma atualização de um Fluxo de Dados Gen2 com CI/CD e suporte ao Git nos pipelines de dados do Fabric.
- A exibição do workspace não mostra se uma atualização está em andamento para o fluxo de dados.
- Não é possível exportar o Dataflow.json do menu do workspace. As soluções alternativas que permitem exportar o fluxo de dados são:
- Use a API Pública do Fabric para obter o Dataflow.json.
- Use o recurso de modelo do Power Query de exportação para exportar a definição de fluxo de dados.
- Use o gerenciador do OneLake no workspace para obter a definição de fluxo de dados.
- O Dataflow Gen2 com CI/CD e suporte ao Git não é compatível com o recurso take ownership no workspace do Fabric. Portanto, somente o criador do fluxo de dados pode editar o fluxo de dados. Se você quiser trabalhar em conjunto em um fluxo de dados, poderá usar ramificações no repositório Git e criar uma solicitação de pull para mesclar as alterações. Para obter mais informações, acesso Cenário 2 – Desenvolver usando outro workspace.
- Ao ramificar para outro espaço de trabalho, uma atualização do Fluxo de Dados Gen2 pode falhar com a mensagem de que o lakehouse de preparo não pôde ser encontrado. Quando isso acontecer, crie um novo Fluxo de Dados Gen2 com suporte de CI/CD e Git no espaço de trabalho para disparar a criação do lakehouse de preparo. Depois disso, todos os outros fluxos de dados no espaço de trabalho devem começar a funcionar novamente.
- Ao sincronizar alterações do GIT no workspace, você precisa abrir o fluxo de dados novo ou atualizado e salvar as alterações manualmente com o editor. Isso dispara uma ação de publicação em segundo plano para permitir que as alterações sejam usadas durante a atualização do fluxo de dados.
Estamos comprometidos em aprimorar continuamente o Dataflow Gen2 com suporte de CI/CD e Git e agradecemos sua paciência enquanto trabalhamos nesses aprimoramentos.