Migrera från Azure Data Factory till Data Factory i Microsoft Fabric
Den här artikeln riktar sig till skapare av Azure Data Factory och Synapse Gen2-pipeline. Det ger vägledning och motivering för att modernisera och migrera dina pipelines till Data Factory för Microsoft Fabric.
Bakgrund
Microsoft Fabric är en integrerad plattform för både självbetjäning och IT-hanterade företagsdata. Med exponentiell tillväxt i datavolymer och komplexitet kräver Fabric-kunder företagslösningar som skalas, är säkra, enkla att hantera och tillgängliga för alla användare i de största organisationerna.
Under de senaste åren har Microsoft investerat betydande arbete för att leverera skalbara molnfunktioner till kunder. För detta ändamål ger Data Factory i Fabric ett stort ekosystem av dataintegreringsutvecklare och dataintegreringslösningar som byggts upp över årtionden möjlighet att utnyttja den fulla uppsättningen av funktioner och förmågor som går långt utöver jämförbara funktioner som finns tillgängliga i tidigare generationer.
Naturligtvis frågar kunderna om det finns en möjlighet att konsolidera genom att vara värd för sina dataintegreringslösningar i Fabric. De ställer ofta frågor som:
- Fungerar all funktionalitet som vi är beroende av i Fabric-pipelines?
- Vilka funktioner är endast tillgängliga i Fabric-pipelines?
- Hur migrerar vi befintliga pipelines till Fabric-pipelines?
- Vad är Microsofts översikt över datainmatning för företag?
Svar på många av dessa frågor beskrivs i den här artikeln.
Notis
Beslutet att migrera till Fabric-kapaciteter beror på kraven från varje kund. Kunder bör noggrant utvärdera andra fördelar för att fatta ett välgrundat beslut. Vi förväntar oss att se organisk migrering till Fabric-pipelines över tid, och vår avsikt är att det sker på villkor som varje kund är bekväm med.
För att vara tydlig finns det för närvarande inga planer på att avveckla Azure Data Factory eller Synapse Gen2 för dataintag. Det finns en prioritet att fokusera investeringar på Fabric-pipelines för inmatning av företagsdata, och därför kommer det extra värdet som tillhandahålls av Fabric-kapaciteter att öka med tiden. Kunder som väljer Fabric-kapaciteter kan förvänta sig att dra nytta av anpassningen till produktplanen för Microsoft Fabric.
Konvergens mellan dataintegrering för företag och självbetjäning
Sammanslagningen av objekt i Fabric förenklar identifiering, samarbete och hantering genom att samlokalisera resurser. Detta gör det möjligt för centrala IT-team att operationalisera verksamhetskritiska dataförflyttnings- och transformeringstjänster i enlighet med företagets standarder, inklusive dataursprung och övervakning, samtidigt som de enklare integrerar populära självbetjäningsobjekt.
För att stödja samarbets- och skalbara behov hos organisationer introducerar Fabric-pipelines Office 365- och Teams-aktiviteter för att skicka meddelanden, smidiga uppdateringar av Power BI-semantiska modeller och robusta styrningsfunktioner som hjälper organisationer att hantera datahärkomst och övervakning av pipelines. Integreringen av generativ AI via Copilot förbättrar ytterligare pipelineupplevelsen genom att erbjuda intelligenta förklaringar av pipelinegenerering och fellösning, vilket förenklar skapandet och hanteringen av komplexa lösningar.
Genom att använda en gemensam plattform effektiviseras arbetsflödet, vilket förbättrar lösningsutvecklingen mellan företag och IT. Detta gör det möjligt för organisationer att skala sina datalösningar till företagsnivåer, vilket säkerställer höga prestanda, flexibilitet och effektivitet i hanteringen av stora mängder data.
Tygets kapacitet
På grund av dess distribuerade arkitektur är Fabric-kapaciteter mindre känsliga för total belastning, tillfälliga toppar och hög samtidighet. Genom att konsolidera kapaciteter till större Fabric kapacitets-SKU:er kan kunderna uppnå ökad prestanda och genomströmning.
Jämförelse av funktioner
I följande tabell visas funktioner som stöds i Azure Data Factory och Fabric Data Factory.
| Funktion | Azure Data Factory | Fabric Data Factory |
|---|---|---|
| Pipelineaktiviteter | ||
| Office 365 och Teams--aktiviteter möjliggör att du smidigt kan skicka meddelanden och underlätta effektiv kommunikation och samarbete i hela organisationen. | Nej | Ja |
| Skapa anslutningar till din Power BI-semantikmodell och Dataflow Gen2 för att säkerställa att dina data uppdateras konsekvent och up-to-date | Nej | Ja |
| validering i en pipeline för att säkerställa att pipelinen bara fortsätter att köras när den verifierar att referensen för den bifogade datamängden finns, att den uppfyller de angivna kriterierna eller överskrider tidsgränsen | Ja | Ja1 |
| Kör ett SQL Server Integration Services (SSIS) paket för att utföra dataintegrerings- och transformeringsåtgärder | Ja | Planerad |
| Datatransformering | ||
| Visuellt utformade datatransformeringar med hjälp av Apache Spark-kluster med Mapping Dataflows för att skapa och hantera datatransformeringsprocesser genom ett grafiskt gränssnitt. | Ja | Ingen2 |
| Visuellt utformade datatransformeringar med hjälp av Fabric-beräkningsmotorn med det intuitiva grafiska gränssnittet för Power Query i Dataflow Gen2 | Nej | Ja |
| Anslutning | ||
| Stöd för alla Data Factory-datakällor | Ja | Pågår3 |
| Skalbarhet | ||
| Säkerställ sömlös genomförande av aktiviteter i en pipeline med schemalagda körningar | Ja | Ja |
| Schemalägg flera körningar för en enda pipeline för flexibel och effektiv hantering av pipelines. | Ja | planerade |
| Använd rullande fönsterutlösare för att schemalägga pipelinekörningar inom distinkta, icke överlappande tidsfönster. | Ja | planerade |
| Händelseutlösare för att automatisera körningen av pipelines som svar på specifika eller relevanta händelser | Ja | Ja4 |
| Artificiell intelligens | ||
| Copilot för Data Factory, som erbjuder intelligent pipelinegenerering för att enkelt importera data, samt förklaringar för att bättre förstå komplexa pipelines eller ge förslag på felmeddelanden. | Nej | Ja |
| Innehållshantering | ||
| Dataförloppsvy, som bidrar till att användare förstår och utvärderar pipelineberoenden | Nej | Ja |
| Distributionspipelines, som hanterar innehållets livscykel | Nej | Ja |
| Plattformsskalbarhet och återhämtning | ||
| Premium-kapacitet arkitektur, som stöder ökad skalning och prestanda | Nej | Ja |
| Stöd för Multi-Geo- som hjälper multinationella kunder att hantera regionala, branschspecifika eller organisatoriska krav på datahemvist | Ja | Ja |
| Säkerhet | ||
| Virtuellt nätverk (Virtual Network) datagateway anslutning, vilket möjliggör att Fabric kan fungera sömlöst i en organisations virtuella nätverk | Nej | planerade |
| lokal datagateway anslutning, vilket möjliggör säker åtkomst av data mellan en organisations lokala datakällor och infrastrukturobjekt | Nej | Ja |
| Azure -tjänsttaggar stöder, vilket är en definierad grupp av IP-adresser som hanteras automatiskt för att minimera komplexiteten vid uppdateringar eller ändringar i nätverkssäkerhetsregler. | Ja | Ja |
| Styrning | ||
| Innehåll godkännande, för att marknadsföra eller certifiera värdefulla textilier av hög kvalitet | Nej | Ja |
| Microsoft Purview-integrering, som hjälper kunder att hantera och styra fabric-objekt | Ja | Ja |
| Microsoft Information Protection (MIP) känslighetsetiketter och integrering med Microsoft Defender för Cloud Apps för dataförlustskydd | Nej | Ja |
| Övervakning och diagnostikloggning | ||
| Logga pipelinekörningshändelser till ett händelselager för att övervaka, analysera och felsöka pipelineprestanda | Ja | Planerad |
| Övervakningsnav, som tillhandahåller övervakningsfunktioner för Fabric-objekt | Nej | Ja |
| Microsoft Fabric Capacity Metrics appen, som tillhandahåller övervakningsfunktioner för Fabric-kapaciteter | Nej | Ja |
| Granskningslogg, som spårar användaraktiviteter i Fabric och Microsoft 365 | Nej | Ja |
1 Använd Hämta metadata, Tills och Om villkor aktiviteter för motsvarande metadatahämtning för valideringsaktiviteten.
2 Använd funktionen Invoke remote pipeline för att köra dessa dataflödesaktiviteter för mappning. Se till aktiviteten Invoke Pipeline.
3 För att visa de anslutningar som för närvarande stöds för datapipelines kan du läsa Pipeline-stöd.
4 Använd Fabric-händelseströmmar och Reflex för att utlösa körningshändelser, se Pipeline-händelseutlösare.
Överväganden
Det finns några andra överväganden att ta hänsyn till när du planerar innan du migrerar till Fabric pipelines.
Licensiering
Fabric-pipelines kräver minst en Microsoft Fabric (kostnadsfri) licens för att arbeta i en arbetsyta med premiumkapacitet. För att lära dig mer, se Fabric-licenser.
Översikt
Dokumentationen om Microsoft Fabric-lanseringsplanen meddelar de senaste uppdateringarna och tidslinjerna för kunder när funktioner förbereds för framtida versioner, inklusive vad som är nytt och planerat för Data Factory i Microsoft Fabric.
Mer information finns i dokumentationen Microsoft Fabric-versionsplan.
Relaterat innehåll
Lär dig hur du planerar för migreringen av ADF till Fabric Data Factory.