Del via

CI/CD for rørledninger i Data Factory i Microsoft Fabric

  • Artikkel

I Fabric Data Factory automatiserer kontinuerlig integrasjon og kontinuerlig utvikling (CI/CD) integrering, testing og distribusjon av kodeendringer for å sikre effektiv og pålitelig utvikling.

I Fabric er det to funksjoner vi for øyeblikket støtter i samarbeid med ALM-teamet (Application Lifecycle Management): Git Integration og deployment pipelines. Disse funksjonene gjør det mulig for brukere å importere/eksportere arbeidsområderessurser med individuelle oppdateringer.

Fabric Data Factory CI/CD-løsningen avviker fra Azure Data Factory-modellen der hele fabrikkoppdateringer ved hjelp av EKSPORTmetodikk for ARM-mal foretrekkes. Denne endringen i metodikk gjør det mulig for kundene å selektivt velge hvilke datasamlebånd som skal oppdateres uten å stanse hele fabrikken. Både Git-integrasjon (bring-your-own Git) og utrullingssamlebånd (innebygd CI/CD) bruker konseptet tilknyttet ett enkelt arbeidsområde med ett enkelt miljø. Du må tilordne forskjellige arbeidsområder til de ulike miljøene, for eksempel utvikling, test og produksjon.

Hvorfor utviklere bruker CI/CD

CI/CD er en praksis som automatiserer programvarelevering, og løser noen få fremtredende smertepunkter:

  • Manuelle integreringsproblemer: Uten CI/CD kan integrering av kodeendringer manuelt føre til konflikter og feil, noe som reduserer utviklingen.
  • Utviklingsforsinkelser: manuelle distribusjoner er tidkrevende og utsatt for feil, noe som fører til forsinkelser i levering av nye funksjoner og oppdateringer.
  • Inkonsekvente miljøer: ulike miljøer (utvikling, testing og produksjon) kan ha inkonsekvenser, noe som forårsaker problemer som er vanskelige å feilsøke.
  • Mangel på synlighet: uten CI/CD kan sporing av endringer og forståelse av tilstanden til kodebasen være utfordrende.

Forstå CI/CD-, Git- og distribusjonssamlebånd

CI/CD består av kontinuerlig integrasjon og kontinuerlig distribusjon.

Kontinuerlig integrasjon (CI)

Utviklere forplikter seg ofte til en Git-administrert hovedgren, noe som utløser automatiserte tester og bygg for integrering. Git sporer endringer for å aktivere automatisk henting og testing av nye utføringer.

Kontinuerlig distribusjon (CD)

Fokuserer på å distribuere bekreftede endringer i produksjonsutviklingen gjennom strukturerte distribusjonsfaser i utrullingssamlebånd.

Git-integrasjon med Data Factory-datasamlebånd

Git er et versjonskontrollsystem som gjør det mulig for utviklere å spore endringer i kodebasen (eller JSON-kodedefinisjoner, når det gjelder datasamlebånd) og samarbeide med andre. Det gir et sentralisert repositorium der kodeendringer lagres og administreres. Git støttes for øyeblikket i Fabric via GitHub eller Azure DevOps. Det finnes noen viktige viktige arbeidsflyter å forstå når du arbeider med Git.

  • Hovedgren: Hovedgrenen, noen ganger kalt hovedgrenen, har produksjonsklar kode.
  • Funksjonsgrener: Disse grenene er atskilt fra hovedgrenen og tillater isolert utvikling uten å endre hovedgrenen.
  • Pull-forespørsler (PR-er): PR-er tillater brukere å foreslå, se gjennom og diskutere endringer før integrering.
  • Fletting: Dette skjer når endringene godkjennes. Git integrerer disse endringene og oppdaterer prosjektet kontinuerlig.

Utrullingssamlebånd for Git

Utrullingssamlebånd er tett integrert med Git. Når en utvikler sender kodeendringer til Git-repositoriet, utløses CI/CD-datasamlebåndet. Denne integreringen sikrer at de nyeste kodeendringene alltid testes og distribueres automatisk.

Faser og jobber

Utrullingssamlebånd består av flere faser og jobber i hvert trinn. Disse fasene deles vanligvis inn i tre miljøer: utvikling (kompileringskode), testing (kjøretester) og produksjon (distribusjon av programmet). Datasamlebåndet går gjennom disse fasene, slik at koden testes grundig og distribueres på en kontrollert måte.

Automatiserte arbeidsflyter

Utrullingssamlebånd automatiserer hele prosessen med å bygge, teste og distribuere kode. Denne automatiseringen reduserer risikoen for menneskelige feil, øker utviklingsprosessen og sikrer at kodeendringer konsekvent og på en pålitelig måte leveres til produksjon.

Kom i gang med Git-integrasjon for Data Factory-datasamlebånd

Gjør følgende for å konfigurere Git-integrasjon for datasamlebånd i Data Factory:

Forutsetninger for Git-integrasjon

Hvis du vil ha tilgang til Git med Microsoft Fabric-arbeidsområdet, må du sørge for følgende forutsetninger for både Fabric og Git.

Trinn 1: Koble til et Git-repositorium

Hvis du vil bruke Git-integrasjon med Data Factory-rørledninger i Fabric, må du først koble til et Git-repositorium, som beskrevet her.

  1. Logg på Fabric, og gå til arbeidsområdet du vil koble til Git.

  2. Velg innstillinger for arbeidsområde.

    Skjermbilde som viser hvor du velger innstillinger for arbeidsområde i stoffgrensesnittet.

  3. Velg Git-integrasjon.

  4. Velg Git-leverandøren. For øyeblikket støtter Fabric bare Azure DevOps eller GitHub. Hvis du bruker GitHub, må du velge Legg til konto for å koble til GitHub-kontoen. Når du har logget på, velger du Koble til for å gi Fabric tilgang til GitHub-kontoen.

    Skjermbilde som viser hvor du legger til en GitHub-konto for en Git-integrering av fabric-arbeidsområdet.

Trinn 2: Koble til et arbeidsområde

Når du kobler til et Git-repositorium, må du koble til et arbeidsområde, som beskrevet her.

  1. Angi følgende detaljer om grenen du vil koble til, fra rullegardinmenyen:

    1. Angi følgende detaljer for Azure DevOps-grentilkoblinger:

      • Organisasjon: Azure DevOps-organisasjonsnavnet.
      • Prosjekt: Azure DevOps-prosjektnavnet.
      • Repositorium: Navnet på Azure DevOps-repositoriet.
      • Gren: Azure DevOps-grennavnet.
      • Mappe: Navnet på Azure DevOps-mappen.

    2. Angi følgende detaljer for GitHub-grentilkoblinger:

      • URL-adresse for repositorium: URL-adressen for GitHub-repositoriet.
      • Gren: GitHub-grennavnet.
      • Mappe: GitHub-mappenavnet.

  2. Velg Koble til og synkroniser.

  3. Når du har koblet til, viser arbeidsområdet informasjon om kildekontroll som gjør det mulig for brukere å vise den tilkoblede grenen, statusen for hvert element i grenen og tidspunktet for den siste synkroniseringen.

    Skjermbilde som viser Fabric-arbeidsområdet med Git-status og andre detaljer rapportert for datasamlebånd.

Trinn 3: Utføre endringer i Git

Når du har koblet til et Git-repositorium og arbeidsområde, kan du utføre endringer i Git, som beskrevet her.

  1. Gå til arbeidsområdet.

  2. Velg kildekontrollikonet. Dette ikonet viser antall uforpliktende endringer.

    Skjermbilde av kildekontrollknappen i brukergrensesnittet for stoffarbeidsområdet.

  3. Velg Fanen Endringer fra kontrollpanelet Kilde. En liste vises med alle elementene du har endret, og et ikon som angir statusen: Ny, Endret , Konflikteller Slettet .

  4. Merk elementene du vil utføre. Hvis du vil merke alle elementene, merker du av i den øverste boksen.

  5. (Valgfritt) Legg til en utføringskommentar i boksen.

  6. Velg Utfør.

    Skjermbilde av dialogboksen Kildekontroll for en Git-utføring.

Når endringene er utført, fjernes elementene som ble utført, fra listen, og arbeidsområdet peker til den nye utførelsen den synkroniserte til.

Trinn 4: (Valgfritt) Oppdater arbeidsområdet fra Git

  1. Gå til arbeidsområdet.

  2. Velg kildekontrollikonet.

  3. Velg Oppdateringer fra kildekontrollpanelet . En liste vises med alle elementene som ble endret i grenen fra Git-tilkoblingskilden siden forrige oppdatering.

  4. Velg Oppdater alle.

    Skjermbilde som viser Oppdateringer-fanen i dialogboksen Kildekontroll i stoffgrensesnittet.

Når den er oppdatert, fjernes listen over elementer, og arbeidsområdet peker til den nye utføringen som den synkroniseres til.

Kom i gang med utrullingssamlebånd for Git

Gjør følgende for å bruke Git-utrullingssamlebånd med Fabric-arbeidsområdet.

Forutsetninger for utrullingssamlebånd

Før du kommer i gang, må du konfigurere følgende forutsetninger:

Trinn 1: Opprette et utrullingssamlebånd

  1. Velg Utrullingssamlebånd fra undermenyen Arbeidsområder.

    Skjermbilde som viser undermenyen Arbeidsområder med utrullingssamlebåndknappen i stoffgrensesnittet.

  2. Velg Opprett datasamlebånd eller + Nytt datasamlebånd.

Trinn 2: Gi navn til datasamlebåndet og tilordne faser

  1. Skriv inn et navn og en beskrivelse for datasamlebåndet i dialogboksen Opprett utrullingssamlebånd, og velg Neste.

  2. Angi strukturen for distribusjonssamlebåndet ved å definere de nødvendige fasene for utrullingssamlebåndet. Som standard har datasamlebåndet tre faser: Utvikling, Test og Produksjon.

    Skjermbilde som viser standard faser for utrullingssamlebånd.

    Du kan legge til en annen fase, slette faser eller gi dem nytt navn ved å skrive inn et nytt navn i boksen. Velg Opprett (eller Opprett og fortsett) når du er ferdig.

    Skjermbilde som viser et utfylt datasamlebånd for eksempeldistribusjon.

Trinn 3: Tilordne et arbeidsområde til utrullingssamlebåndet

Når du har opprettet et datasamlebånd, må du legge til innhold du vil administrere i datasamlebåndet. Det gjøres ved å tilordne et arbeidsområde til datasamlebåndet ved å legge til innhold i datasamlebåndet. Du kan tilordne et arbeidsområde til en hvilken som helst fase. Følg instruksjonene for å tilordne et arbeidsområde til et datasamlebånd.

Trinn 4: Distribuer til en tom fase

  1. Når du er ferdig med å arbeide med innhold i ett datasamlebånd, kan du distribuere det til neste fase. Utrullingssamlebånd tilbyr tre alternativer for distribusjon av innholdet:

    • Full distribusjon: Distribuer alt innhold til målfasen.
    • Selektiv distribusjon: Velg hvilket innhold som skal distribueres til målfasen.
    • Bakoverdistribusjon: Distribuer innhold fra et senere stadium til en tidligere fase i datasamlebåndet. For øyeblikket er bakoverdistribusjon bare mulig når målfasen er tom (har ikke noe arbeidsområde tilordnet det).

  2. Når du har valgt hvordan du distribuerer innholdet, kan du se gjennom distribusjonen og legge igjen et notat.

Trinn 5: Distribuere innhold fra ett trinn til et annet

  1. Når du har innhold i en samlebåndfase, kan du distribuere det til neste fase, selv om arbeidsområdet i neste fase har innhold. Parvise elementer overskrives. Du kan lære mer om denne prosessen i delen Distribuer innhold til et eksisterende arbeidsområde .
  2. Du kan se gjennom distribusjonsloggen for å se siste gang innholdet ble distribuert til hvert trinn. Hvis du vil undersøke forskjellene mellom de to datasamlebåndene før du distribuerer, kan du se Sammenligne innhold i ulike distribusjonsfaser.

Kjente begrensninger

Følgende kjente begrensninger gjelder for CI/CD for datasamlebånd i Data Factory i Microsoft Fabric:

  • Arbeidsområdevariabler: CI/CD støtter for øyeblikket ikke arbeidsområdevariabler.
  • Git Integration begrenset støtte: For øyeblikket støtter Fabric bare Git-integrasjon med Azure DevOps og GitHub. Azure DevOps Git-integrering anbefales ettersom GitHub Git-integrering har flere begrensninger.
  • Pipeline-aktiviteter med OAuth-koblinger: For MS Teams- og Outlook-koblinger må brukere manuelt åpne hvert datasamlebånd manuelt og logge på hver aktivitet, noe som er en begrensning for øyeblikket.
  • Pipelines invoking dataflows: When a pipeline that invokes a dataflow is promoted, it will still reference the dataflow in the previous workspace, which is incorrect. Denne virkemåten oppstår fordi dataflyter for øyeblikket ikke støttes i utrullingssamlebånd.

Relatert innhold