CI/CD voor pijplijnen in Data Factory in Microsoft Fabric

In Fabric Data Factory automatiseert continue integratie en continue ontwikkeling (CI/CD) de integratie, het testen en implementeren van codewijzigingen om een efficiënte en betrouwbare ontwikkeling te garanderen.

In Fabric zijn er twee functies die momenteel worden ondersteund in samenwerking met het ALM-team (Application Lifecycle Management): Git Integration and Deployment Pipelines. Met deze functies kunnen gebruikers werkruimtebronnen importeren/exporteren met afzonderlijke updates.

De CI/CD-oplossing fabric data factory wijkt af van het Azure Data Factory-model waarbij volledige factory-updates met behulp van de ARM-sjabloonexportmethodologie de voorkeur hebben. Door deze wijziging in de methodologie kunnen klanten selectief kiezen welke pijplijnen moeten worden bijgewerkt zonder de hele fabriek te onderbreken. Zowel Git-integratie (bring-your-own Git) als implementatiepijplijnen (ingebouwde CI/CD) gebruiken het concept van gekoppelde één werkruimte met één omgeving. U moet verschillende werkruimten toewijzen aan uw verschillende omgevingen, zoals ontwikkeling, test en productie.

Waarom ontwikkelaars CI/CD gebruiken

CI/CD is een praktijk die softwarelevering automatiseert en een aantal belangrijke pijnpunten oplost:

• Problemen met handmatige integratie: zonder CI/CD kan het handmatig integreren van codewijzigingen leiden tot conflicten en fouten, waardoor de ontwikkeling wordt vertraagd.
• Ontwikkelingsvertragingen: handmatige implementaties zijn tijdrovend en gevoelig voor fouten, wat leidt tot vertragingen bij het leveren van nieuwe functies en updates.
• Inconsistente omgevingen: verschillende omgevingen (ontwikkeling, testen en productie) kunnen inconsistenties hebben, wat problemen veroorzaakt die moeilijk kunnen worden opgespoord.
• Gebrek aan zichtbaarheid: zonder CI/CD kan het bijhouden van wijzigingen en het begrijpen van de status van de codebasis lastig zijn.

Informatie over CI/CD-, Git- en implementatiepijplijnen

CI/CD bestaat uit continue integratie en continue implementatie.

Continue integratie (CI)

Ontwikkelaars voeren vaak een door Git beheerde hoofdvertakking door, waardoor geautomatiseerde tests en builds voor integratie worden geactiveerd. Git houdt wijzigingen bij om het automatisch ophalen en testen van nieuwe doorvoeringen mogelijk te maken.

Continue implementatie (CD)

Richt zich op het implementeren van geverifieerde wijzigingen in productieontwikkelingen via gestructureerde implementatiefasen binnen implementatiepijplijnen.

Git-integratie met Data Factory-pijplijnen

Git is een versiebeheersysteem waarmee ontwikkelaars wijzigingen in hun codebase (of JSON-codedefinities, in het geval van pijplijnen) kunnen bijhouden en kunnen samenwerken met anderen. Het biedt een gecentraliseerde opslagplaats waarin codewijzigingen worden opgeslagen en beheerd. Momenteel wordt Git ondersteund in Fabric via GitHub of Azure DevOps. Er zijn enkele belangrijke werkstroom essentials die u moet begrijpen wanneer u met Git werkt.

• Hoofdvertakking: De hoofdvertakking, ook wel de hoofdvertakking genoemd, bevat code die gereed is voor productie.
• Functiebranches: deze vertakkingen staan los van de hoofdbranch en maken geïsoleerde ontwikkeling mogelijk zonder de hoofdbranch te wijzigen.
• Pull-aanvragen (PULL's): met pull-aanvragen kunnen gebruikers wijzigingen vóór de integratie voorstellen, beoordelen en bespreken.
• Samenvoegen: dit gebeurt wanneer wijzigingen worden goedgekeurd. Git integreert deze wijzigingen, waarbij het project continu wordt bijgewerkt.

Implementatiepijplijnen voor Git

Implementatiepijplijnen zijn nauw geïntegreerd met Git. Wanneer een ontwikkelaar codewijzigingen naar de Git-opslagplaats pusht, wordt de CI/CD-pijplijn geactiveerd. Deze integratie zorgt ervoor dat de meest recente codewijzigingen altijd worden getest en automatisch worden geïmplementeerd.

Fasen en taken

Implementatiepijplijnen bestaan uit meerdere fasen en taken binnen elke fase. Deze fasen zijn doorgaans onderverdeeld in drie omgevingen: ontwikkeling (compilatiecode), testen (tests uitvoeren) en productie (implementeren van de toepassing). De pijplijn verloopt door deze fasen, zodat de code grondig wordt getest en op een gecontroleerde manier wordt geïmplementeerd.

Geautomatiseerde werkstromen

Implementatiepijplijnen automatiseren het hele proces van het bouwen, testen en implementeren van code. Deze automatisering vermindert het risico op menselijke fouten, versnelt het ontwikkelingsproces en zorgt ervoor dat codewijzigingen consistent en betrouwbaar aan de productie worden geleverd.

Aan de slag met Git-integratie voor Data Factory-pijplijnen

Voer de volgende stappen uit om Git-integratie in te stellen voor uw pijplijnen in Data Factory:

Vereisten voor Git-integratie

Als u toegang wilt krijgen tot Git met uw Microsoft Fabric-werkruimte, moet u ervoor zorgen dat de volgende vereisten gelden voor zowel Fabric als Git.

• Een Power BI Premium-licentie of fabric-capaciteit.
• Schakel de volgende tenantopties in vanuit de beheerportal:
  • Gebruikers kunnen Fabric-items maken
  • Gebruikers kunnen werkruimte-items synchroniseren met hun Git-opslagplaatsen
  • (Alleen voor GitHub-gebruikers) Gebruikers kunnen werkruimte-items synchroniseren met GitHub-opslagplaatsen
• Een Azure DevOps- of GitHub-account.
  • Voor een Azure DevOps-account:
    • Een actief Azure-account dat is geregistreerd bij dezelfde gebruiker die de Fabric-werkruimte gebruikt. Maak een gratis account.
    • Toegang tot een bestaande opslagplaats
  • Voor een GitHub-account:
    • Een actief GitHub-account. Maak een gratis account.
    • Een fijnmazige token met lees- en schrijfmachtigingen voor Inhoud, onder opslagplaatsmachtigingen of een klassiek GitHub-token waarvoor repobereiken zijn ingeschakeld.

Stap 1: Verbinding maken met een Git-opslagplaats

Als u Git-integratie met Data Factory-pijplijnen in Fabric wilt gebruiken, moet u eerst verbinding maken met een Git-opslagplaats, zoals hier wordt beschreven.

1. Meld u aan bij Fabric en navigeer naar de werkruimte waarmee u verbinding wilt maken met Git.

2. Selecteer Werkruimte-instellingen.

   

3. Selecteer Git-integratie.

4. Selecteer uw Git-provider. Momenteel ondersteunt Fabric alleen Azure DevOps of GitHub. Als u GitHub gebruikt, moet u Account toevoegen selecteren om verbinding te maken met uw GitHub-account. Nadat u zich hebt aangemeld, selecteert u Verbinding maken om Fabric toegang te geven tot uw GitHub-account.

   

Stap 2: Verbinding maken met een werkruimte

Zodra u verbinding maakt met een Git-opslagplaats, moet u verbinding maken met een werkruimte, zoals hier wordt beschreven.

1. Geef in het vervolgkeuzemenu de volgende details op over de vertakking waarmee u verbinding wilt maken:

   1. Geef voor Azure DevOps-vertakkingsverbindingen de volgende details op:

      • Organisatie: de naam van de Azure DevOps-organisatie.
      • Project: de naam van het Azure DevOps-project.
      • Opslagplaats: de naam van de Azure DevOps-opslagplaats.
      • Vertakking: de naam van de Azure DevOps-vertakking.
      • Map: de naam van de Azure DevOps-map.

   2. Geef voor GitHub-vertakkingsverbindingen de volgende details op:

      • URL van opslagplaats: de URL van de GitHub-opslagplaats.
      • Vertakking: de naam van de GitHub-vertakking.
      • Map: de naam van de GitHub-map.

2. Selecteer Verbinding maken en synchroniseren.

3. Nadat u verbinding hebt gemaakt, geeft de werkruimte informatie weer over broncodebeheer waarmee gebruikers de verbonden vertakking, de status van elk item in de vertakking en de tijd van de laatste synchronisatie kunnen bekijken.

   

Stap 3: Wijzigingen doorvoeren in Git

Nadat u verbinding hebt gemaakt met een Git-opslagplaats en -werkruimte, kunt u wijzigingen doorvoeren in Git, zoals hier wordt beschreven.

1. Ga naar de werkruimte.

2. Selecteer het pictogram Broncodebeheer . Dit pictogram toont het aantal niet-doorgevoerde wijzigingen.

   

3. Selecteer het tabblad Wijzigingen in het configuratiescherm Bron . Er wordt een lijst weergegeven met alle items die u hebt gewijzigd en een pictogram dat de status aangeeft: Nieuw, Gewijzigd , Conflictof Verwijderd.

4. Selecteer de items die u wilt doorvoeren. Als u alle items wilt selecteren, schakelt u het bovenste selectievakje in.

5. (Optioneel) Voeg een doorvoercommentaar toe in het vak.

6. Selecteer Doorvoeren.

   

Nadat de wijzigingen zijn doorgevoerd, worden de items die zijn doorgevoerd uit de lijst verwijderd en verwijst de werkruimte naar de nieuwe doorvoering waarmee deze is gesynchroniseerd.

Stap 4: (Optioneel) Werk de werkruimte bij vanuit Git

1. Ga naar de werkruimte.

2. Selecteer het pictogram Broncodebeheer .

3. Selecteer Updates in het configuratiescherm Bron . Er wordt een lijst weergegeven met alle items die zijn gewijzigd in de vertakking van uw Git-verbindingsbron sinds de laatste update.

4. Selecteer Alles bijwerken.

   

Nadat deze is bijgewerkt, wordt de lijst met items verwijderd en verwijst de werkruimte naar de nieuwe doorvoering waarnaar deze is gesynchroniseerd.

Aan de slag met implementatiepijplijnen voor Git

Voer de volgende stappen uit om Git-implementatiepijplijnen te gebruiken met uw Fabric-werkruimte.

Vereisten voor implementatiepijplijnen

Voordat u aan de slag gaat, moet u de volgende vereisten instellen:

• Een actief Microsoft Fabric-abonnement.
• Beheerderstoegang tot een Infrastructuurwerkruimte.

Stap 1: Een implementatiepijplijn maken

1. Selecteer implementatiepijplijnen in de flyout Werkruimten.

   

2. Selecteer Pijplijn maken of + Nieuwe pijplijn.

Stap 2: De pijplijn een naam geven en fasen toewijzen

1. Voer in het dialoogvenster Implementatiepijplijn maken een naam en beschrijving voor de pijplijn in en selecteer Volgende.

2. Stel de structuur van uw implementatiepijplijn in door de vereiste fasen voor uw implementatiepijplijn te definiëren. De pijplijn heeft standaard drie fasen: Ontwikkeling, Testen en Productie.

   

   U kunt een andere fase toevoegen, fasen verwijderen of de naam ervan wijzigen door een nieuwe naam in het vak te typen. Selecteer Maken (of Maken en doorgaan) wanneer u klaar bent.

   

Stap 3: Een werkruimte toewijzen aan de implementatiepijplijn

Nadat u een pijplijn hebt gemaakt, moet u inhoud toevoegen die u wilt beheren aan de pijplijn. Het toevoegen van inhoud aan de pijplijn wordt uitgevoerd door een werkruimte toe te wijzen aan de pijplijnfase. U kunt een werkruimte toewijzen aan elke fase. Volg de instructies voor het toewijzen van een werkruimte aan een pijplijn.

Stap 4: Implementeren in een lege fase

1. Wanneer u klaar bent met het werken met inhoud in één pijplijnfase, kunt u deze implementeren in de volgende fase. Implementatiepijplijnen bieden drie opties voor het implementeren van uw inhoud:

   • Volledige implementatie: Implementeer al uw inhoud in de doelfase.
   • Selectieve implementatie: selecteer welke inhoud u wilt implementeren in de doelfase.
   • Achterwaartse implementatie: Inhoud implementeren vanuit een latere fase naar een eerdere fase in de pijplijn. Op dit moment is achterwaartse implementatie alleen mogelijk wanneer de doelfase leeg is (er is geen werkruimte aan toegewezen).

2. Nadat u hebt gekozen hoe u uw inhoud implementeert, kunt u uw implementatie controleren en een opmerking achterlaten.

Stap 5: Inhoud van de ene fase naar de andere implementeren

1. Zodra u inhoud in een pijplijnfase hebt, kunt u deze implementeren in de volgende fase, zelfs als de werkruimte voor de volgende fase inhoud heeft. Gekoppelde items worden overschreven. Meer informatie over dit proces vindt u in de sectie Inhoud implementeren in een bestaande werkruimte .
2. U kunt de implementatiegeschiedenis bekijken om te zien wanneer de inhoud voor het laatst in elke fase is geïmplementeerd. Zie Inhoud vergelijken in verschillende implementatiefasen om de verschillen tussen de twee pijplijnen te bekijken voordat u implementeert.

Bekende beperkingen

De volgende bekende beperkingen zijn van toepassing op CI/CD voor pijplijnen in Data Factory in Microsoft Fabric:

• Werkruimtevariabelen: CI/CD biedt momenteel geen ondersteuning voor werkruimtevariabelen.
• Beperkte ondersteuning voor Git-integratie: Fabric ondersteunt momenteel alleen Git-integratie met Azure DevOps en GitHub. Azure DevOps Git-integratie wordt aanbevolen omdat GitHub Git-integratie meer beperkingen heeft.
• Pijplijnactiviteiten met OAuth-connectors: Voor MS Teams- en Outlook-connectors moeten gebruikers bij de implementatie in een hogere omgeving handmatig elke pijplijn openen en zich aanmelden bij elke activiteit, wat momenteel een beperking is.
• Pijplijnen die gegevensstromen aanroepen: wanneer een pijplijn die een gegevensstroom aanroept, wordt gepromoveerd, wordt nog steeds verwezen naar de gegevensstroom in de vorige werkruimte, wat onjuist is. Dit gedrag treedt op omdat gegevensstromen momenteel niet worden ondersteund in implementatiepijplijnen.

Gerelateerde inhoud

• Inleiding tot het CI/CD-proces als onderdeel van de ALM-cyclus in Microsoft Fabric
• Aan de slag met Git-integratie, het hulpprogramma Alm (Fabric Application Lifecycle Management)
• Aan de slag met implementatiepijplijnen, het hulpprogramma Alm (Fabric Application Lifecycle Management)
• Blog: CI/CD-mogelijkheden verkennen in Microsoft Fabric: Een focus op pijplijnen