Migreren van Azure Data Factory naar Data Factory in Microsoft Fabric
Dit artikel is bedoeld voor ontwikkelaars van Azure Data Factory- en Synapse Gen2-pijplijnen. Het biedt u richtlijnen en logica om uw pijplijnen te moderniseren en te migreren naar Data Factory voor Microsoft Fabric.
Achtergrond
Microsoft Fabric is een geïntegreerd platform voor zowel selfservice- als it-beheerde bedrijfsgegevens. Met exponentiële groei in gegevensvolumes en complexiteit eisen Fabric-klanten bedrijfsoplossingen die schalen, veilig, gemakkelijk te beheren en toegankelijk zijn voor alle gebruikers in de grootste organisaties.
In de afgelopen jaren investeerde Microsoft aanzienlijk in het leveren van schaalbare cloudmogelijkheden aan klanten. Daarom biedt Data Factory in Fabric een groot ecosysteem van ontwikkelaars voor gegevensintegratie en oplossingen voor gegevensintegratie die gedurende tientallen jaren zijn opgebouwd om gebruik te maken van de volledige set functies en mogelijkheden die veel verder gaan dan vergelijkbare functionaliteit die beschikbaar is in vorige generaties.
Natuurlijk vragen klanten of er een mogelijkheid is om te consolideren door hun oplossingen voor gegevensintegratie in Fabric te hosten. Ze stellen vaak vragen zoals:
- Werkt alle functionaliteit waar we van afhankelijk zijn in Fabric-pijplijnen?
- Welke mogelijkheden zijn alleen beschikbaar in Fabric-pijplijnen?
- Hoe migreren we bestaande pijplijnen naar Fabric-pijplijnen?
- Wat is de roadmap van Microsoft voor het opnemen van zakelijke gegevens?
Antwoorden op veel van deze vragen worden beschreven in dit artikel.
Notitie
De beslissing om naar Fabric-capaciteiten te migreren, is afhankelijk van de vereisten van elke klant. Klanten moeten zorgvuldig andere voordelen evalueren om een weloverwogen beslissing te nemen. We verwachten dat we in de loop van de tijd organische migratie naar Fabric-pijplijnen zien en onze bedoeling is dat het gebeurt op voorwaarden waarmee elke klant vertrouwd is.
Om duidelijk te zijn, zijn er momenteel geen plannen om Azure Data Factory of Synapse Gen2 te verwijderen voor gegevensopname. Er ligt een prioriteit op het leggen van de focus op Fabric-pijplijnen voor de invoer van bedrijfsgegevens, en de extra waarde die wordt geboden door Fabric-capaciteiten zal in de loop van de tijd toenemen. Klanten die Fabric-capaciteiten kiezen, kunnen verwachten dat ze kunnen profiteren van de afstemming op de productroadmap van Microsoft Fabric.
Convergentie van ondernemings- en selfservicegegevensintegratie
De samenvoeging van items in Fabric vereenvoudigt het ontdekken, samenwerken en beheren door middelen samen te brengen. Hierdoor kunnen centrale IT-teams bedrijfskritieke gegevensverplaatsings- en transformatieservices operationeel maken die zijn afgestemd op bedrijfsstandaarden, waaronder gegevensherkomst en -bewaking, terwijl populaire selfservice-items eenvoudiger kunnen worden geïntegreerd.
Ter ondersteuning van de gezamenlijke en schaalbare behoeften van organisaties introduceren Fabric-pijplijnen Office 365- en Teams-activiteiten voor het verzenden van berichten, naadloze vernieuwingen van semantische Power BI-modellen en robuuste governancefuncties, waardoor organisaties gegevensherkomst en pijplijnbewaking kunnen beheren. De integratie van generatieve AI via Copilot verbetert de pijplijnervaring verder door intelligente uitleg over het genereren van pijplijnen en foutoplossing te bieden, waardoor het maken en beheren van complexe oplossingen wordt vereenvoudigd.
Door gebruik te maken van een gemeenschappelijk platform, wordt de werkstroom gestroomlijnd, waardoor de ontwikkeling van oplossingen tussen bedrijven en IT wordt verbeterd. Hierdoor kunnen organisaties hun gegevensoplossingen schalen naar bedrijfsniveaus, waardoor hoge prestaties, flexibiliteit en efficiëntie worden gegarandeerd bij het beheren van grote hoeveelheden gegevens.
Fabric-capaciteiten
Vanwege de gedistribueerde architectuur zijn Fabric-capaciteiten minder gevoelig voor de totale belasting, tijdelijke pieken en een hoge mate van gelijktijdigheid. Door capaciteiten te consolideren naar grotere Fabric-capaciteit-SKU's, kunnen klanten verbeterde prestaties en doorvoer realiseren.
Functievergelijking
De volgende tabel bevat functies die worden ondersteund in Azure Data Factory en Fabric Data Factory.
| Kenmerk | Azure Data Factory | Fabric Datafabriek |
|---|---|---|
| pijplijnactiviteiten | ||
| Office 365- en Teams--activiteiten stellen u in staat om naadloos berichten te verzenden, waardoor efficiënte communicatie en samenwerking in uw organisatie wordt vergemakkelijkt. | Nee | Ja |
| Maak verbindingen met uw semantisch Power BI-model en Gegevensstroom Gen2 om ervoor te zorgen dat uw gegevens consistent worden vernieuwd en up-to-date | Nee | Ja |
| Validatie in een pijplijn om ervoor te zorgen dat de pijplijn pas doorgaat met uitvoeren nadat is gevalideerd dat de gekoppelde gegevenssetreferentie bestaat, voldoet aan de opgegeven criteria, of wanneer er een time-out optreedt. | Ja | Ja1 |
| Een SSIS-pakket (SQL Server Integration Services) uitvoeren om gegevensintegratie- en transformatiebewerkingen uit te voeren | Ja | Gepland |
| gegevenstransformatie | ||
| Visueel ontworpen gegevenstransformaties met behulp van Apache Spark-clusters en Mapping Dataflows om processen voor gegevenstransformatie via een grafische interface te maken en te beheren. | Ja | Geen2 |
| Visueel ontworpen gegevenstransformaties met behulp van de Fabric-berekeningsengine met de intuïtieve grafische interface van Power Query in Dataflow Gen2- | Nee | Ja |
| Connectiviteit | ||
| Ondersteuning voor alle Data Factory-gegevensbronnen | Ja | Wordt uitgevoerd3 |
| schaalbaarheid | ||
| Zorg voor een naadloze uitvoering van activiteiten in een pijplijn met geplande runs | Ja | Ja |
| Plan meerdere runs voor een enkele pijplijn voor flexibel en efficiënt pijplijnbeheer. | Ja | geplande |
| Tumblingvenstertriggers gebruiken om pijplijnruns te plannen binnen afzonderlijke, niet-overlappende tijdvensters | Ja | geplande |
| Gebeurtenistriggers om de uitvoering van pijplijnuitvoeringen te automatiseren als reactie op specifieke of relevante gebeurtenissen | Ja | Ja4 |
| kunstmatige intelligentie | ||
| Copilot voor Data Factory-, dat intelligente pijplijngeneratie biedt voor het eenvoudig opnemen van gegevens en uitleg om complexe pijplijnen beter te begrijpen of suggesties te geven voor foutberichten | Nee | Ja |
| inhoudsbeheer | ||
| Gegevensstroomweergave, waarmee gebruikers pijplijnafhankelijkheden kunnen begrijpen en beoordelen | Nee | Ja |
| implementatiepijplijnen, waarmee de levenscyclus van inhoud wordt beheerd | Nee | Ja |
| Platform-schaalbaarheid en -tolerantie | ||
| Premium-capaciteit architectuur, die ondersteuning biedt voor verbeterde schaal en prestaties | Nee | Ja |
| ondersteuning voor Multi-Geo, waarmee multinationale klanten aansluiten bij regionale, branchespecifieke of organisatorische vereisten voor gegevenslocatie. | Ja | Ja |
| Beveiliging | ||
| Virtuele netwerkgegevensgateway connectiviteit, die Fabric in staat stelt naadloos te werken in het virtuele netwerk van een organisatie | Nee | geplande |
| on-premises gegevensgateway connectiviteit, waarmee u veilige toegang tot gegevens kunt krijgen tussen de on-premises gegevensbronnen van een organisatie en Fabric-items | Nee | Ja |
| Azure servicetags ondersteuning. Dit is een gedefinieerde groep IP-adressen die automatisch worden beheerd om de complexiteit van updates of wijzigingen in netwerkbeveiligingsregels te minimaliseren | Ja | Ja |
| Governance - | ||
| Inhoud goedkeuringom waardevolle, hoogwaardige textielartikelen te promoten of te certificeren. | Nee | Ja |
| Microsoft Purview-integratie, waarmee klanten Fabric-items kunnen beheren en beheren | Ja | Ja |
| Microsoft Information Protection (MIP) vertrouwelijkheidslabels en integratie met Microsoft Defender voor Cloud Apps- voor preventie van gegevensverlies | Nee | Ja |
| Monitoring en diagnostische logboekregistratie | ||
| Pijplijnuitvoeringsgebeurtenissen vastleggen in een gebeurtenisarchief om pijplijnprestaties te bewaken, analyseren en problemen op te lossen | Ja | Gepland |
| Monitoring Hub, dat bewakingsmogelijkheden biedt voor Fabric-items | Nee | Ja |
| Microsoft Fabric Capacity Metrics-app, die bewakingsmogelijkheden biedt voor fabric-capaciteiten | Nee | Ja |
| auditlogboek, waarmee gebruikersactiviteiten in Fabric en Microsoft 365 worden bijgehouden | Nee | Ja |
1 Gebruik de Metagegevens ophalen, Tot en If-voorwaarde activiteiten voor het ophalen van gelijkwaardige metagegevens van de validatieactiviteit.
2 Gebruik de functie 'Externe pijplijn aanroepen' om de mappinggegevensstroomactiviteiten uit te voeren, raadpleeg de activiteit 'Pijplijn aanroepen'.
3 Raadpleeg Pijplijnondersteuningom de connectors weer te geven die momenteel worden ondersteund voor gegevenspijplijnen.
4 Gebruik Fabric-eventstreams en Reflex om uitvoeringsgebeurtenissen te activeren, raadpleeg Pipeline-gebeurtenistriggers.
Overwegingen
Er zijn enkele andere overwegingen waarmee u rekening moet houden bij uw planning voordat u naar Fabric-pijplijnen migreert.
Licentieverlening
Voor fabric-pijplijnen is minimaal een Microsoft Fabric-licentie (gratis) vereist om in een werkruimte voor premium-capaciteit te schrijven. Raadpleeg Fabric-licentiesvoor meer informatie.
Routekaart
In de documentatie van het Microsoft Fabric-releaseplan worden de meest recente updates en tijdlijnen voor klanten aangekondigd als functies worden voorbereid op toekomstige releases, waaronder wat er nieuw en gepland is voor Data Factory in Microsoft Fabric.
Raadpleeg de documentatie Microsoft Fabric-releaseplanvoor meer informatie.
Verwante inhoud
Meer informatie over het plannen van uw migratie van ADF naar Fabric Data Factory.