Del via

CI/CD til pipelines i Data Factory i Microsoft Fabric

  • Artikel

I Fabric Data Factory automatiserer kontinuerlig integration og kontinuerlig udvikling (CI/CD) integration, test og udrulning af kodeændringer for at sikre effektiv og pålidelig udvikling.

I Fabric er der to funktioner, som vi i øjeblikket understøtter i samarbejde med ALM-teamet (Application Lifecycle Management): Git Integration og udrulningspipelines. Disse funktioner giver brugerne mulighed for at importere/eksportere arbejdsområderessourcer med individuelle opdateringer.

Fabric Data Factory CI/CD-løsningen afviger fra Azure Data Factory-modellen, hvor hele fabriksopdateringer ved hjælp af ARM-skabeloneksportmetode foretrækkes. Denne ændring i metoden giver kunderne mulighed for selektivt at vælge, hvilke pipelines der skal opdateres uden at afbryde hele fabrikken midlertidigt. Både Git-integration (bring-your-own Git) og udrulningspipelines (indbygget CI/CD) bruger begrebet tilknyttet et enkelt arbejdsområde med et enkelt miljø. Du skal knytte forskellige arbejdsområder til dine forskellige miljøer, f.eks. udvikling, test og produktion.

Hvorfor udviklere bruger CI/CD

CI/CD er en praksis, der automatiserer levering af software, og den løser nogle få fremtrædende smertepunkter:

  • Problemer med manuel integration: Uden CI/CD kan integration af kodeændringer manuelt føre til konflikter og fejl og gøre udviklingen langsommere.
  • Udviklingsforsinkelser: Manuelle udrulninger er tidskrævende og tilbøjelige til fejl, hvilket medfører forsinkelser i leveringen af nye funktioner og opdateringer.
  • Inkonsekvente miljøer: Forskellige miljøer (udvikling, test og produktion) kan have uoverensstemmelser, hvilket medfører problemer, der er svære at foretage fejlfinding af.
  • Manglende synlighed: Uden CI/CD kan det være en udfordring at spore ændringer og forstå kodebasens tilstand.

Om CI/CD, Git og udrulningspipelines

CI/CD består af kontinuerlig integration og kontinuerlig udrulning.

Løbende integration (CI)

Udviklere bruger ofte en Git-administreret hovedforgrening, der udløser automatiserede test og builds til integration. Git sporer ændringer for at aktivere automatisk hentning og test af nye bekræftelser.

Kontinuerlig udrulning (CD)

Fokuserer på udrulning af bekræftede ændringer i produktionstendenser via strukturerede udrulningsfaser i udrulningspipelines.

Git-integration med Data Factory-pipelines

Git er et versionskontrolsystem, der gør det muligt for udviklere at spore ændringer i deres kodebase (eller JSON-kodedefinitioner i tilfælde af pipelines) og samarbejde med andre. Det giver et centraliseret lager, hvor kodeændringer gemmes og administreres. Git understøttes i øjeblikket i Fabric via GitHub eller Azure DevOps. Der er et par vigtige vigtige arbejdsgange at forstå, når du arbejder med Git.

  • Hovedgren: Hovedgrenen, der nogle gange kaldes mastergrenen, indeholder kode, der er klar til produktion.
  • Funktionsgrene: Disse forgreninger er adskilt fra hovedgrenen og giver mulighed for isoleret udvikling uden at ændre hovedgrenen.
  • Pullanmodninger: Pullanmodninger giver brugerne mulighed for at foreslå, gennemse og diskutere ændringer før integration.
  • Fletning: Dette sker, når ændringer godkendes. Git integrerer disse ændringer og opdaterer løbende projektet.

Udrulningspipelines til Git

Udrulningspipelines er tæt integreret med Git. Når en udvikler overfører kodeændringer til Git-lageret, udløses CI/CD-pipelinen. Denne integration sikrer, at de seneste kodeændringer altid testes og installeres automatisk.

Faser og job

Udrulningspipelines består af flere faser og job i hver fase. Disse faser er typisk opdelt i tre miljøer: udvikling (kompileringskode), test (kørsel af test) og produktion (udrulning af programmet). Pipelinen skrider gennem disse faser og sikrer, at koden testes grundigt og udrulles på en kontrolleret måde.

Automatiserede arbejdsprocesser

Udrulningspipelines automatiserer hele processen med at bygge, teste og udrulle kode. Denne automatisering reducerer risikoen for menneskelige fejl, fremskynder udviklingsprocessen og sikrer, at kodeændringer leveres konsekvent og pålideligt til produktion.

Kom i gang med Git-integration for Data Factory-pipelines

Udfør følgende trin for at konfigurere Git-integration for dine pipelines i Data Factory:

Forudsætninger for Git-integration

Hvis du vil have adgang til Git med dit Microsoft Fabric-arbejdsområde, skal du sørge for følgende forudsætninger for både Fabric og Git.

Trin 1: Opret forbindelse til et Git-lager

Hvis du vil bruge Git-integration med Data Factory-pipelines i Fabric, skal du først oprette forbindelse til et Git-lager, som beskrevet her.

  1. Log på Fabric, og naviger til det arbejdsområde, du vil oprette forbindelse til Git.

  2. Vælg Indstillinger for arbejdsområde.

    Skærmbillede, der viser, hvor du kan vælge Indstillinger for arbejdsområde i brugergrænsefladen Fabric.

  3. Vælg Git-integration.

  4. Vælg din Git-udbyder. I øjeblikket understøtter Fabric kun Azure DevOps eller GitHub. Hvis du bruger GitHub, skal du vælge Tilføj konto for at oprette forbindelse til din GitHub-konto. Når du har logget på, skal du vælge Opret forbindelse for at give Fabric adgang til din GitHub-konto.

    Skærmbillede, der viser, hvor du kan tilføje en GitHub-konto til Git-integration af et Fabric-arbejdsområde.

Trin 2: Opret forbindelse til et arbejdsområde

Når du opretter forbindelse til et Git-lager, skal du oprette forbindelse til et arbejdsområde, som beskrevet her.

  1. I rullemenuen skal du angive følgende oplysninger om den forgrening, du vil oprette forbindelse til:

    1. For azure DevOps-forgreningsforbindelser skal du angive følgende oplysninger:

      • Organisation: Navnet på Azure DevOps-organisationen.
      • Projekt: Navnet på Azure DevOps-projektet.
      • Lager: Navnet på Azure DevOps-lageret.
      • Forgrening: Forgreningsnavnet på Azure DevOps.
      • Mappe: Navnet på Mappen Azure DevOps.

    2. Angiv følgende oplysninger for GitHub-forgreningsforbindelser:

      • URL-adresse til lager: URL-adressen til GitHub-lageret.
      • Forgrening: GitHub-forgreningsnavnet.
      • Mappe: Navnet på GitHub-mappen.

  2. Vælg Opret forbindelse, og synkroniser.

  3. Når du har oprettet forbindelse, viser arbejdsområdet oplysninger om versionsstyring, der giver brugerne mulighed for at få vist den forbundne forgrening, status for hvert element i forgreningen og tidspunktet for den seneste synkronisering.

    Skærmbillede, der viser Fabric-arbejdsområdet med Git-status og andre oplysninger, der er rapporteret for pipelines.

Trin 3: Udfør ændringer i Git

Når du har oprettet forbindelse til et Git-lager og -arbejdsområde, kan du bekræfte ændringer i Git, som beskrevet her.

  1. Gå til arbejdsområdet.

  2. Vælg ikonet Kildekontrolelement . Dette ikon viser antallet af ændringer, der ikke er gemt.

    Skærmbillede af knappen Kildekontrolelement i brugergrænsefladen i Fabric-arbejdsområdet.

  3. Vælg fanen Ændringer i kontrolpanelet Kilde. Der vises en liste med alle de elementer, du har ændret, og et ikon, der angiver status: Ny , Ændret , Konflikteller Slettet .

  4. Vælg de elementer, du vil bekræfte. Hvis du vil markere alle elementer, skal du markere det øverste afkrydsningsfelt.

  5. (Valgfrit) Tilføj en bekræftelseskommentar i feltet.

  6. Vælg Bekræft.

    Skærmbillede af dialogboksen Kildekontrolelement for en Git-bekræftelse.

Når ændringerne er bekræftet, fjernes de elementer, der blev bekræftet, fra listen, og arbejdsområdet peger på den nye bekræftelse, som den synkroniserede til.

Trin 4: (valgfrit) Opdater arbejdsområdet fra Git

  1. Gå til arbejdsområdet.

  2. Vælg ikonet Kildekontrolelement .

  3. Vælg Opdateringer i kontrolpanelet Kilde. Der vises en liste med alle de elementer, der er ændret i forgreningen fra din Git-forbindelseskilde siden den seneste opdatering.

  4. Vælg Opdater alle.

    Skærmbillede, der viser fanen Opdateringer i dialogboksen Kildekontrolelement i brugergrænsefladen Fabric.

Når den er opdateret, fjernes listen over elementer, og arbejdsområdet peger på den nye bekræftelse, som det er synkroniseret med.

Kom i gang med udrulningspipelines til Git

Udfør følgende trin for at bruge Git-udrulningspipelines med dit Fabric-arbejdsområde.

Forudsætninger for udrulningspipelines

Før du kommer i gang, skal du sørge for at konfigurere følgende forudsætninger:

Trin 1: Opret en udrulningspipeline

  1. Vælg Udrulningspipelines i pop op-vinduet Arbejdsområder.

    Skærmbillede, der viser pop op-vinduet Arbejdsområder med knappen Udrulningspipelines i brugergrænsefladen i Fabric.

  2. Vælg Opret pipeline eller + Ny pipeline.

Trin 2: Navngiv pipelinen, og tildel faser

  1. Angiv et navn og en beskrivelse til pipelinen i dialogboksen Opret udrulningspipeline, og vælg Næste.

  2. Angiv strukturen for din udrulningspipeline ved at definere de påkrævede faser for din udrulningspipeline. Pipelinen har som standard tre faser: Udvikling, Test og Produktion.

    Skærmbillede, der viser standardfaserne for udrulningspipeline.

    Du kan tilføje endnu en fase, slette faser eller omdøbe dem ved at skrive et nyt navn i feltet. Vælg Opret (eller Opret og fortsæt), når du er færdig.

    Skærmbillede, der viser en udfyldt eksempeludrulningspipeline.

Trin 3: Tildel et arbejdsområde til udrulningspipelinen

Når du har oprettet en pipeline, skal du føje indhold, du vil administrere, til pipelinen. Tilføjelse af indhold til pipelinen udføres ved at tildele et arbejdsområde til pipelinefasen. Du kan tildele et arbejdsområde til en hvilken som helst fase. Følg vejledningen for at tildele et arbejdsområde til en pipeline.

Trin 4: Udrul til en tom fase

  1. Når du er færdig med at arbejde med indhold i én pipelinefase, kan du udrulle det til næste fase. Udrulningspipelines giver tre muligheder for at udrulle dit indhold:

    • Fuld udrulning: Udrul alt dit indhold til destinationsfasen.
    • Selektiv udrulning: Vælg, hvilket indhold der skal installeres i destinationsfasen.
    • Bagududrulning: Udrul indhold fra en senere fase til en tidligere fase i pipelinen. Udrulning bagud er i øjeblikket kun mulig, når destinationsfasen er tom (der er ikke tildelt noget arbejdsområde til den).

  2. Når du har valgt, hvordan du vil installere dit indhold, kan du gennemse udrulningen og efterlade en note.

Trin 5: Udrul indhold fra én fase til en anden

  1. Når du har indhold i en pipelinefase, kan du udrulle det til næste fase, også selvom det næste fasearbejdsområde indeholder indhold. Parrede elementer overskrives. Du kan få mere at vide om denne proces i afsnittet Udrul indhold til et eksisterende arbejdsområde .
  2. Du kan gennemse installationshistorikken for at se, hvornår indholdet sidst blev udrullet i hver fase. Hvis du vil undersøge forskellene mellem de to pipelines, før du udruller, skal du se Sammenlign indhold i forskellige udrulningsfaser.

Kendte begrænsninger

Følgende kendte begrænsninger gælder for CI/CD for pipelines i Data Factory i Microsoft Fabric:

  • Arbejdsområdevariabler: CI/CD understøtter i øjeblikket ikke arbejdsområdevariabler.
  • Begrænset understøttelse af Git Integration: I øjeblikket understøtter Fabric kun Git-integration med Azure DevOps og GitHub. Azure DevOps Git-integration anbefales, da GitHub Git-integration har flere begrænsninger.
  • Pipelineaktiviteter med OAuth-connectors: I forbindelse med MS Teams- og Outlook-connectors skal brugerne manuelt åbne hver pipeline og logge på hver enkelt aktivitet, hvilket er en begrænsning i øjeblikket, når de udrulles til et højere miljø.
  • Pipelines, der aktiverer dataflow: Når en pipeline, der aktiverer et dataflow, hæves, refererer den stadig til dataflowet i det forrige arbejdsområde, hvilket er forkert. Denne funktionsmåde opstår, fordi dataflow i øjeblikket ikke understøttes i udrulningspipelines.

Relateret indhold