Migrer fra Azure Data Factory til Data Factory i Microsoft Fabric
Denne artikel henvender sig til udviklere af Azure Data Factory- og Synapse Gen2-pipelinen. Den giver dig vejledning og rationale til at hjælpe med at modernisere og migrere dine pipelines til Data Factory for Microsoft Fabric.
Baggrund
Microsoft Fabric er en integreret platform til både selvbetjeningsdata og it-administrerede virksomhedsdata. Med eksponentiel vækst i datamængder og kompleksitet kræver Fabric-kunder virksomhedsløsninger, der skalerer, er sikre, nemme at administrere og tilgængelige for alle brugere på tværs af de største organisationer.
I de seneste år har Microsoft investeret et betydeligt arbejde for at levere skalerbare cloudfunktioner til kunderne. Med henblik herpå giver Data Factory in Fabric et stort økosystem af dataintegrationsudviklere og løsninger til dataintegration, der er opbygget over årtier, til at bruge det fulde sæt funktioner og funktioner, der går langt ud over den sammenlignelige funktionalitet, der er tilgængelig i tidligere generationer.
Kunderne spørger naturligvis, om der er mulighed for at konsolidere ved at hoste deres løsninger til dataintegration i Fabric. De stiller ofte spørgsmål som:
- Er al den funktionalitet, vi er afhængige af, arbejdet i Fabric-pipelines?
- Hvilke funktioner er kun tilgængelige i Fabric-pipelines?
- Hvordan overfører vi eksisterende pipelines til Fabric-pipelines?
- Hvad er Microsofts oversigt over dataindtagelse i virksomheder?
Svar på mange af disse spørgsmål er beskrevet i denne artikel.
Seddel
Beslutningen om at migrere til Fabric-kapaciteter afhænger af de enkelte kunders krav. Kunderne bør nøje evaluere andre fordele for at træffe en informeret beslutning. Vi forventer at se organisk migrering til Fabric-pipelines over tid, og vores hensigt er, at det sker på vilkår, som hver kunde er fortrolig med.
For at gøre det helt klart er der i øjeblikket ingen planer om at fraråde Azure Data Factory eller Synapse Gen2 til dataindtagelse. Der er en prioritet at fokusere på investeringer i Fabric-pipelines til dataindtagelse i virksomheden, og derfor øges den ekstra værdi, der leveres af Fabric-kapaciteter, over tid. Kunder, der vælger Fabric-kapaciteter, kan forvente at drage fordel af tilpasningen til Microsoft Fabric-produktoversigten.
Konvergens af integration af virksomhedsdata og selvbetjeningsdata
Konsolideringen af elementer i Fabric forenkler registrering, samarbejde og administration ved at flytte ressourcer. Dette gør det muligt for centrale it-teams at operationalisere missionskritiske dataflytnings- og transformationstjenester, der er tilpasset virksomhedens standarder, herunder dataafstamning og overvågning, samtidig med at de nemmere integrerer populære selvbetjeningselementer.
For at understøtte organisationers samarbejdsmæssige og skalerbare behov introducerer Fabric-pipelines Office 365- og Teams-aktiviteter til afsendelse af meddelelser, problemfrie opdateringer af semantiske Power BI-modeller og robuste styringsfunktioner, der hjælper organisationer med at administrere dataafstamning og overvågning af pipelines. Integrationen af generativ AI via Copilot forbedrer pipelineoplevelsen yderligere ved at tilbyde intelligente forklaringer af pipelinegenerering og fejlløsning, der forenkler oprettelsen og administrationen af komplekse løsninger.
Ved at bruge en fælles platform strømlines arbejdsprocessen, hvilket forbedrer løsningsudvikling mellem forretning og it. Dette gør det muligt for organisationer at skalere deres dataløsninger til virksomhedsniveauer og dermed sikre høj ydeevne, fleksibilitet og effektivitet i administrationen af store mængder data.
Kapaciteter for stof
På grund af den distribuerede arkitektur er Fabric-kapaciteter mindre følsomme over for samlet belastning, tidsmæssige stigninger og høj samtidighed. Ved at konsolidere kapaciteter til større Sku'er med Fabric-kapacitet kan kunderne opnå øget ydeevne og gennemløb.
Sammenligning af funktioner
I følgende tabel vises de funktioner, der understøttes i Azure Data Factory og Fabric Data Factory.
| Funktion | Azure Data Factory | Fabric Data Factory |
|---|---|---|
| Pipelineaktiviteter | ||
| Office 365 og Teams aktiviteter giver dig mulighed for problemfrit at sende meddelelser, hvilket letter effektiv kommunikation og samarbejde på tværs af organisationen | Nej | Ja |
| Opret forbindelser til din semantiske Power BI-model og Dataflow Gen2 for at sikre, at dine data opdateres konsekvent og up-to-date | Nej | Ja |
| Validering i en pipeline for at sikre, at pipelinen kun fortsætter udførelsen, når den validerer, at den vedhæftede datasætreference findes, at den opfylder de angivne kriterier eller får timeout | Ja | Ja1 |
| Udfør en SSIS-pakke (SQL Server Integration Services) for at udføre dataintegrations- og transformationshandlinger | Ja | Planlagt |
| datatransformation | ||
| Visuelt designede datatransformationer ved hjælp af Apache Spark-klynger med Mapping Dataflows til at oprette og administrere datatransformationsprocesser via en grafisk grænseflade | Ja | Ingen2 |
| Visuelt designede datatransformationer ved hjælp af Fabric-beregningsprogrammet med den intuitive grafiske grænseflade i Power Query i Dataflow Gen2 | Nej | Ja |
| Forbindelse | ||
| Understøttelse af alle Data Factory-datakilder | Ja | Igangværende3 |
| skalerbarhed | ||
| Sørg for problemfri udførelse af aktiviteter i en pipeline med planlagte kørsler | Ja | Ja |
| Planlæg flere kørsler for en enkelt pipeline for fleksibel og effektiv pipelinestyring | Ja | planlagt |
| Udnyt tumlevindueudløsere til at planlægge pipelinekørsler inden for særskilte, ikke-overlappende tidsvinduer | Ja | planlagt |
| Hændelsesudløsere til at automatisere udførelsen af pipelinekørsler som svar på specifikke eller relevante hændelsesforekomster | Ja | Ja,4 |
| kunstig intelligens | ||
| Copilot til Data Factory, som giver intelligent generering af pipeline til hentning af data med lethed og forklaringer for bedre at forstå komplekse pipelines eller for at komme med forslag til fejlmeddelelser | Nej | Ja |
| indholdsstyring | ||
| visningen Dataafstamning, som hjælper brugerne med at forstå og vurdere pipelineafhængigheder | Nej | Ja |
| udrulningspipelines, der administrerer livscyklussen for indhold | Nej | Ja |
| platformskalerbarhed og robusthed | ||
| Premium-kapacitet arkitektur, som understøtter øget skalering og ydeevne | Nej | Ja |
| Multi-Geo- support, som hjælper multinationale kunder med at håndtere regionale, branchespecifikke eller organisatoriske krav til dataopbevaring | Ja | Ja |
| Sikkerhed | ||
| virtuel netværksdatagateway (virtuelt netværk) forbindelse, hvilket gør det muligt for Fabric at arbejde problemfrit i en organisations virtuelle netværk | Nej | planlagt |
| datagateway i det lokale miljø forbindelse, hvilket giver sikker adgang til data mellem en organisations datakilder i det lokale miljø og Fabric-elementer | Nej | Ja |
| Azure -tjenestetags support, som er en defineret gruppe AF IP-adresser, der automatisk administreres for at minimere kompleksiteten af opdateringer eller ændringer af regler for netværkssikkerhed | Ja | Ja |
| styring | ||
| Indhold anbefalingfor at fremhæve eller certificere værdifulde Fabric-elementer i høj kvalitet | Nej | Ja |
| Microsoft Purview-integration, som hjælper kunderne med at administrere og styre Fabric-elementer | Ja | Ja |
| Microsoft Information Protection (MIP) følsomhedsmærkater og integration med Microsoft Defender for Cloud Apps til forebyggelse af datatab | Nej | Ja |
| overvågning og logføring af diagnosticering | ||
| Logføring af hændelser for udførelse af pipelines i et hændelseslager for at overvåge, analysere og foretage fejlfinding af pipelineydeevnen | Ja | Planlagt |
| overvågningshub, som indeholder overvågningsfunktioner til Fabric-elementer | Nej | Ja |
| Microsoft Fabric Capacity Metrics-appen, som indeholder overvågningsfunktioner til Fabric-kapaciteter | Nej | Ja |
| overvågningslog, der sporer brugeraktiviteter på tværs af Fabric og Microsoft 365 | Nej | Ja |
1 Brug Hent metadata, Indtil og Hvis-betingelse aktiviteter for tilsvarende metadatahentning af valideringsaktiviteten.
2 Brug funktionen Aktivér fjernpipeline til at udføre tilknytningen af dataflowaktiviteter i Invoke Pipeline-aktivitet.
3 Hvis du vil have vist de connectors, der i øjeblikket understøttes for datapipelines, skal du se Pipeline-understøttelse.
4 Brug Fabric eventstreams og Reflex til at udløse kørselshændelser, skal du se Pipeline-hændelsesudløsere.
Overvejelser
Der er nogle andre overvejelser, du skal overveje i din planlægning, før du migrerer til Fabric-pipelines.
Licenser
Fabric-pipelines kræver som minimum en Microsoft Fabric -licens (gratis) for at oprette i et arbejdsområde med premium-kapacitet. Du kan få mere at vide under Fabric-licenser.
Oversigt
Microsoft Fabric-udgivelsesplandokumentationen annoncerer de nyeste opdateringer og tidslinjer for kunderne, når funktioner forberedes til fremtidige udgivelser, herunder nyheder og planlagte opdateringer til Data Factory i Microsoft Fabric.
Du kan få flere oplysninger i microsoft Fabric-udgivelsesplandokumentation.
Relateret indhold
Få mere at vide om, hvordan du planlægger migrering af ADF til Fabric Data Factory.