CI/CD para pipelines no Data Factory no Microsoft Fabric

No Fabric Data Factory, a integração contínua e o desenvolvimento contínuo (CI/CD) automatizam a integração, o teste e a implantação de alterações de código para garantir um desenvolvimento eficiente e confiável.

No Fabric, há dois recursos que atualmente suportamos em colaboração com a equipe de gerenciamento do ciclo de vida do aplicativo (ALM): integração do Git e pipelines de implantação. Esses recursos permitem que os usuários importem/exportem recursos do espaço de trabalho com atualizações individuais.

A solução CI/CD do Fabric Data Factory se desvia do modelo do Azure Data Factory, onde atualizações de fábrica inteiras usando a metodologia de exportação de modelo ARM são preferidas. Essa mudança de metodologia permite que os clientes escolham seletivamente quais pipelines atualizar sem pausar toda a fábrica. Tanto a integração do Git (traga seu próprio Git) quanto os pipelines de implantação (CI/CD integrado) usam o conceito de associar um único espaço de trabalho a um único ambiente. Você precisa mapear diferentes espaços de trabalho para seus diferentes ambientes, como desenvolvimento, teste e produção.

Por que os desenvolvedores usam CI/CD

A CI/CD é uma prática que automatiza a entrega de software e resolve alguns pontos problemáticos proeminentes:

• Problemas de integração manual: sem CI/CD, a integração manual de alterações de código pode levar a conflitos e erros, atrasando o desenvolvimento.
• Atrasos no desenvolvimento: as implantações manuais são demoradas e propensas a erros, levando a atrasos na entrega de novos recursos e atualizações.
• Ambientes inconsistentes: ambientes diferentes (desenvolvimento, teste e produção) podem ter inconsistências, causando problemas difíceis de depurar.
• Falta de visibilidade: sem CI/CD, controlar as alterações e entender o estado da base de código pode ser um desafio.

Noções básicas sobre CI/CD, Git e pipelines de implantação

O CI/CD consiste em integração contínua e implantação contínua.

Integração contínua (CI)

Os desenvolvedores frequentemente se comprometem com uma ramificação principal gerenciada pelo Git, acionando testes automatizados e compilações para integração. O Git rastreia as alterações para permitir a busca automática e o teste de novas confirmações.

Implantação contínua (CD)

Concentra-se na implantação de alterações verificadas em desenvolvimentos de produção por meio de estágios de implantação estruturados dentro de pipelines de implantação.

Integração do Git com pipelines do Data Factory

O Git é um sistema de controle de versão que permite aos desenvolvedores rastrear alterações em sua base de código (ou definições de código JSON, no caso de pipelines) e colaborar com outros. Ele fornece um repositório centralizado onde as alterações de código são armazenadas e gerenciadas. Atualmente, o Git é suportado no Fabric via GitHub ou Azure DevOps. Há alguns fundamentos importantes do fluxo de trabalho para entender ao trabalhar com o Git.

• Ramificação principal: A ramificação principal, às vezes chamada de ramificação principal, contém o código pronto para produção.
• Ramificações de recurso: Estas ramificações são separadas da ramificação principal e permitem o desenvolvimento isolado sem alterar a ramificação principal.
• Pull requests (PRs): os RPs permitem que os usuários proponham, analisem e discutam alterações antes da integração.
• Fusão: ocorre quando as alterações são aprovadas. O Git integra essas mudanças, atualizando continuamente o projeto.

Pipelines de implantação para Git

Os pipelines de implantação são totalmente integrados ao Git. Quando um desenvolvedor envia alterações de código para o repositório Git, ele aciona o pipeline de CI/CD. Essa integração garante que as alterações de código mais recentes sejam sempre testadas e implantadas automaticamente.

Etapas e trabalhos

Os pipelines de implantação consistem em vários estágios e trabalhos dentro de cada estágio. Normalmente, esses estágios são separados em três ambientes: desenvolvimento (compilação de código), teste (execução de testes) e produção (implantação do aplicativo). O pipeline progride através desses estágios, garantindo que o código seja exaustivamente testado e implantado de forma controlada.

Fluxos de trabalho automatizados

Os pipelines de implantação automatizam todo o processo de criação, teste e implantação de código. Essa automação reduz o risco de erro humano, acelera o processo de desenvolvimento e garante que as alterações de código sejam entregues à produção de forma consistente e confiável.

Introdução à integração do Git para pipelines do Data Factory

Siga as seguintes etapas para configurar a integração do Git para seus pipelines no Data Factory:

Pré-requisitos para integração com Git

Para acessar o Git com seu espaço de trabalho do Microsoft Fabric, verifique os seguintes pré-requisitos para o Fabric e o Git.

• Uma licença do Power BI Premium ou capacidade de malha.
• Habilitadas as seguintes opções de locatário do portal de administração:
  • Os usuários podem criar itens de malha
  • Os usuários podem sincronizar itens do espaço de trabalho com seus repositórios Git
  • (Apenas para usuários do GitHub) Os usuários podem sincronizar itens de espaço de trabalho com repositórios do GitHub
• Uma conta do Azure DevOps ou do GitHub.
  • Para uma conta do Azure DevOps:
    • Uma conta ativa do Azure registrada para o mesmo usuário que está usando o espaço de trabalho Malha. Crie uma conta gratuita.
    • Acesso a um repositório existente
  • Para uma conta do GitHub:
    • Uma conta do GitHub ativa. Crie uma conta gratuita.
    • Um token refinado com permissões de leitura e gravação para Conteúdo, sob permissões de repositório, ou um token clássico do GitHub com escopos de repositório habilitados.

Etapa 1: Conectar-se a um repositório Git

Para usar a integração do Git com pipelines do Data Factory na malha, primeiro você precisa se conectar a um repositório Git, conforme descrito aqui.

1. Entre no Fabric e navegue até o espaço de trabalho que você deseja conectar ao Git.

2. Selecione Configurações do espaço de trabalho.

   

3. Selecione Integração Git.

4. Selecione seu provedor Git. Atualmente, o Fabric suporta apenas o Azure DevOps ou o GitHub. Se você usa o GitHub, precisa selecionar Adicionar conta para conectar sua conta do GitHub. Depois de entrar, selecione Conectar para permitir que o Fabric acesse sua conta do GitHub.

   

Etapa 2: Conectar-se a um espaço de trabalho

Depois de se conectar a um repositório Git, você precisa se conectar a um espaço de trabalho, conforme descrito aqui.

1. No menu suspenso, especifique os seguintes detalhes sobre a ramificação à qual você deseja se conectar:

   1. Para conexões de ramificação do Azure DevOps, especifique os seguintes detalhes:

      • Organização: o nome da organização do Azure DevOps.
      • Projeto: O nome do projeto Azure DevOps.
      • Repositório: o nome do repositório do Azure DevOps.
      • Ramo: O nome da ramificação do Azure DevOps.
      • Pasta: O nome da pasta Azure DevOps.

   2. Para conexões de ramificação do GitHub, especifique os seguintes detalhes:

      • URL do repositório: A URL do repositório GitHub.
      • Ramificação: O nome da ramificação do GitHub.
      • Pasta: O nome da pasta GitHub.

2. Selecione Conectar e sincronizar.

3. Depois de se conectar, o espaço de trabalho exibe informações sobre o controle do código-fonte que permite que os usuários visualizem a ramificação conectada, o status de cada item na ramificação e a hora da última sincronização.

   

Etapa 3: Confirmar alterações no Git

Depois de se conectar a um repositório e espaço de trabalho do Git, você pode confirmar alterações no Git, conforme descrito aqui.

1. Aceder à área de trabalho.

2. Selecione o ícone Controle do código-fonte. Este ícone mostra o número de alterações não confirmadas.

   

3. Selecione a guia Alterações no painel de controle Origem. Uma lista é exibida com todos os itens que você alterou e um ícone indicando o status: Novo , Modificado , Conflito ou Excluído .

4. Selecione os itens que deseja confirmar. Para selecionar todos os itens, marque a caixa superior.

5. (Opcional) Adicione um comentário de confirmação na caixa.

6. Selecione Confirmar.

   

Depois que as alterações forem confirmadas, os itens que foram confirmados serão removidos da lista e o espaço de trabalho apontará para a nova confirmação com a qual foi sincronizado.

Etapa 4: (Opcional) Atualizar o espaço de trabalho do Git

1. Aceder à área de trabalho.

2. Selecione o ícone Controle do código-fonte.

3. Selecione Atualizações no painel de controle Origem. Uma lista é exibida com todos os itens que foram alterados na ramificação da sua fonte de conexão Git desde a última atualização.

4. Selecione Atualizar tudo.

   

Depois que a atualização for bem-sucedida, a lista de itens será removida e o espaço de trabalho apontará para a nova confirmação com a qual foi sincronizado.

Introdução aos pipelines de implantação do Git

Siga as etapas a seguir para usar os pipelines de implantação do Git com seu espaço de trabalho de malha.

Pré-requisitos para pipelines de implantação

Antes de começar, certifique-se de configurar os seguintes pré-requisitos:

• Uma assinatura ativa do Microsoft Fabric.
• Acesso de administrador de um espaço de trabalho do Fabric.

Etapa 1: Criar um pipeline de implantação

1. No submenu Espaços de trabalho, selecione Pipelines de implantação.

   

2. Selecione Criar pipeline ou + Novo pipeline.

Etapa 2: Nomeie o pipeline e atribua estágios

1. Na caixa de diálogo Criar pipeline de implantação, insira um nome e uma descrição para o pipeline e selecione Avançar.

2. Defina a estrutura do pipeline de implantação definindo os estágios necessários para o pipeline de implantação. Por padrão, o pipeline tem três estágios: Desenvolvimento, Teste e Produção.

   

   Você pode adicionar outro estágio, excluir estágios ou renomeá-los digitando um novo nome na caixa. Selecione Criar (ou Criar e continuar) quando terminar.

   

Etapa 3: Atribuir um espaço de trabalho ao pipeline de implantação

Depois de criar um pipeline, você precisa adicionar o conteúdo que deseja gerenciar ao pipeline. A adição de conteúdo ao pipeline é feita atribuindo um espaço de trabalho ao estágio do pipeline. Você pode atribuir um espaço de trabalho a qualquer estágio. Siga as instruções para Atribuir um espaço de trabalho a um pipeline.

Etapa 4: Implantar em um estágio vazio

1. Quando terminar de trabalhar com conteúdo em um estágio de pipeline, você poderá implantá-lo no próximo estágio. Os pipelines de implantação oferecem três opções para implantar seu conteúdo:

   • Implantação completa: implante todo o seu conteúdo no estágio de destino.
   • Implantação seletiva: selecione o conteúdo a ser implantado no estágio de destino.
   • Implantação retroativa: implante conteúdo de um estágio posterior para um estágio anterior no pipeline. Atualmente, a implantação retroativa só é possível quando o estágio de destino está vazio (não tem espaço de trabalho atribuído a ele).

2. Depois de escolher como implantar seu conteúdo, você pode revisar sua implantação e deixar uma nota.

Etapa 5: Implantar conteúdo de um estágio para outro

1. Depois de ter conteúdo em um estágio de pipeline, você pode implantá-lo no próximo estágio, mesmo que o espaço de trabalho do próximo estágio tenha conteúdo. Os itens emparelhados são substituídos. Você pode saber mais sobre esse processo na seção Implantar conteúdo em um espaço de trabalho existente.
2. Você pode revisar o histórico de implantação para ver a última vez que o conteúdo foi implantado em cada estágio. Para examinar as diferenças entre os dois pipelines antes de implantar, consulte Comparar conteúdo em diferentes estágios de implantação.

Limitações conhecidas

As seguintes limitações conhecidas se aplicam ao CI/CD para pipelines no Data Factory no Microsoft Fabric:

• Variáveis de espaço de trabalho: CI/CD atualmente não suporta variáveis de espaço de trabalho.
• Suporte limitado à integração do Git: atualmente, o Fabric suporta apenas a integração do Git com o Azure DevOps e o GitHub. A integração do Azure DevOps Git é recomendada, pois a integração do GitHub Git tem mais limitações.
• Atividades de pipeline com conectores OAuth: Para conectores MS Teams e Outlook, ao implantar em um ambiente superior, os usuários devem abrir manualmente cada pipeline e entrar em cada atividade, o que é uma limitação atualmente.
• Pipelines invocando fluxos de dados: quando um pipeline que invoca um fluxo de dados é promovido, ele ainda fará referência ao fluxo de dados no espaço de trabalho anterior, o que está incorreto. Esse comportamento ocorre porque os fluxos de dados não são suportados atualmente em pipelines de implantação.

Conteúdos relacionados

• Introdução ao processo CI/CD como parte do ciclo ALM no Microsoft Fabric
• Introdução à integração com o Git, a ferramenta Fabric Application Lifecycle Management (ALM)
• Comece a usar pipelines de implantação, a ferramenta Fabric Application Lifecycle Management (ALM)
• Blog: Explorando os recursos de CI/CD no Microsoft Fabric: um foco em pipelines