Migrer d’Azure Data Factory vers Data Factory dans Microsoft Fabric
Cet article cible les créateurs de pipelines Azure Data Factory et Synapse Gen2. Il vous fournit des conseils et des raisons pour vous aider à moderniser et migrer vos pipelines vers Data Factory pour Microsoft Fabric.
Arrière-plan
Microsoft Fabric est une plateforme intégrée pour les données d’entreprise en libre-service et gérées par l’informatique. Avec une croissance exponentielle des volumes de données et de la complexité, les clients Fabric demandent des solutions d’entreprise qui sont mises à l’échelle, sont sécurisées, faciles à gérer et accessibles à tous les utilisateurs au sein des plus grandes organisations.
Ces dernières années, Microsoft a investi beaucoup de travail pour fournir des fonctionnalités cloud évolutives aux clients. À cette fin, Data Factory dans Fabric permet à un vaste écosystème de développeurs d’intégration de données et de solutions d’intégration de données créés au fil des décennies pour utiliser l’ensemble complet des fonctionnalités et des fonctionnalités qui vont bien au-delà des fonctionnalités comparables disponibles dans les générations précédentes.
Naturellement, les clients demandent s’il existe une opportunité de consolider en hébergeant leurs solutions d’intégration de données dans Fabric. Ils posent souvent des questions telles que :
- Toutes les fonctionnalités sur lesquelles nous comptons fonctionnent-elles dans les pipelines Fabric ?
- Quelles sont les fonctionnalités disponibles uniquement dans les pipelines Fabric ?
- Comment migrer des pipelines existants vers des pipelines Fabric ?
- Quelle est la feuille de route de Microsoft pour l’ingestion des données d’entreprise ?
Les réponses à la plupart de ces questions sont décrites dans cet article.
Remarque
La décision de migrer vers les capacités fabric dépend des exigences de chaque client. Les clients doivent évaluer soigneusement d’autres avantages afin de prendre une décision éclairée. Nous nous attendons à voir la migration organique vers des pipelines Fabric au fil du temps, et notre intention est qu’il se produit sur des conditions que chaque client est à l’aise avec.
Pour être clair, il n’existe actuellement aucun plan de dépréciation d’Azure Data Factory ou Synapse Gen2 pour l’ingestion de données. Il est prioritaire de concentrer l’investissement sur les pipelines Fabric pour l’ingestion des données d’entreprise, et donc la valeur supplémentaire fournie par les capacités de Fabric augmentera au fil du temps. Les clients qui choisissent des capacités Fabric peuvent s’attendre à bénéficier de l’alignement avec la feuille de route du produit Microsoft Fabric.
Convergence de l’intégration des données en libre-service et d’entreprise
La consolidation des éléments dans Fabric simplifie la découverte, la collaboration et la gestion en colocalisant les ressources. Cela permet aux équipes informatiques centrales d’opérationnaliser les services de déplacement et de transformation stratégiques conformes aux normes de l’entreprise, y compris la traçabilité et la surveillance des données, tout en intégrant plus facilement les éléments en libre-service populaires.
Pour prendre en charge les besoins collaboratifs et évolutifs des organisations, les pipelines Fabric introduisent des activités Office 365 et Teams pour l’envoi de messages, l’actualisation transparente des modèles sémantiques Power BI et des fonctionnalités de gouvernance robustes, ce qui aide les organisations à gérer la traçabilité des données et la surveillance des pipelines. L’intégration de l’IA générative via Copilot améliore davantage l’expérience du pipeline en offrant des explications intelligentes sur la génération de pipelines et la résolution des erreurs, ce qui simplifie la création et la gestion de solutions complexes.
En utilisant une plateforme commune, le flux de travail est rationalisé et améliore le développement de solutions entre l’entreprise et l’informatique. Cela permet aux organisations de mettre à l’échelle leurs solutions de données aux niveaux de l’entreprise, de garantir des performances élevées, de la flexibilité et de l’efficacité dans la gestion de grandes quantités de données.
Capacités Fabric
En raison de son architecture distribuée, les capacités fabric sont moins sensibles à la charge globale, aux pics temporels et à la concurrence élevée. En regroupant les capacités vers des modèles SKU de plus grande capacité de Fabric, les clients peuvent obtenir des performances et un débit accrus.
Comparaison des fonctionnalités
Le tableau suivant répertorie les fonctionnalités prises en charge dans Azure Data Factory et Fabric Data Factory.
| Fonctionnalité | Azure Data Factory | Fabric Data Factory |
|---|---|---|
| activités de pipeline | ||
| Les activités Office 365 et Teams vous permettent d’envoyer des messages en toute transparence, ce qui facilite la communication et la collaboration efficaces au sein de votre organisation | Non | Oui |
| Créez des liens avec votre Modèle sémantique Power BI et Dataflow Gen2 pour garantir que vos données sont constamment rafraîchies et mises à jour | Non | Oui |
| Validation dans un pipeline pour garantir que le pipeline ne continue son exécution que lorsqu'il valide que la référence de jeu de données jointe existe, qu'il répond aux critères spécifiés ou bien expire | Oui | Oui1 |
| Exécuter un package SQL Server Integration Services (SSIS) pour effectuer des opérations d’intégration et de transformation des données | Oui | Prévu |
| Transformation des données | ||
| Transformations de données conçues visuellement à l’aide de clusters Apache Spark avec Mapping Dataflows pour créer et gérer des processus de transformation de données via une interface graphique. | Oui | Non 2 |
| Transformations de données conçues visuellement à l’aide du moteur de calcul Fabric avec l’interface graphique intuitive de Power Query dans Dataflow Gen2 | Non | Oui |
| Connectivité | ||
| Prise en charge de toutes les sources de données de Data Factory | Oui | En cours3 |
| Extensibilité | ||
| Garantir l’exécution transparente des activités dans un pipeline avec exécutions planifiées | Oui | Oui |
| Planifier plusieurs exécutions pour un seul pipeline pour une gestion flexible et efficace des pipelines | Oui | Planifié |
| Utiliser des déclencheurs de fenêtres en tumbling pour planifier des exécutions de pipeline dans des fenêtres de temps distinctes et non chevauchantes | Oui | Planifié |
| Déclencheurs d’événements pour automatiser l’exécution des exécutions de pipeline en réponse à des occurrences d’événements spécifiques ou pertinentes | Oui | Oui4 |
| intelligence artificielle | ||
| Copilot pour Data Factory, qui fournit une génération de pipeline intelligente pour intégrer facilement des données et des explications pour mieux comprendre les pipelines complexes ou pour fournir des suggestions pour les messages d’erreur | Non | Oui |
| Gestion du contenu | ||
| Vue de la traçabilité des données, qui aide les utilisateurs à comprendre et à évaluer les dépendances de pipeline | Non | Oui |
| Pipelines de déploiement, qui gèrent le cycle de vie du contenu | Non | Oui |
| Évolutivité et résilience de la plateforme | ||
| Architecture Premium, qui prend en charge une mise à l’échelle et des performances accrues | Non | Oui |
| Support multigéographique, qui aide les clients multinationaux à répondre aux exigences régionales, spécifiques au secteur ou à la résidence des données organisationnelles | Oui | Oui |
| Sécurité | ||
| connectivité de la passerelle de données du réseau virtuel, ce qui permet à Fabric de fonctionner de manière fluide dans le réseau virtuel d’une organisation | Non | Planifié |
| passerelle de données locale connectivité, permettant un accès sécurisé aux données entre les sources de données locales d’une organisation et les éléments de Fabric | Non | Oui |
| Prise en charge des étiquettes de service Azure , qui correspondent à un groupe défini d’adresses IP gérées automatiquement pour réduire la complexité des mises à jour ou des modifications apportées aux règles de sécurité réseau | Oui | Oui |
| Gouvernance | ||
| Contenu approbation, pour promouvoir ou certifier des articles en tissu précieux de haute qualité. | Non | Oui |
| Intégration Microsoft Purview, qui aide les clients à gérer et à gouverner les éléments Fabric | Oui | Oui |
| Étiquettes de confidentialité Microsoft Information Protection (MIP) et intégration à Microsoft Defender for Cloud Apps pour la protection contre la perte de données | Non | Oui |
| Surveillance et journalisation des diagnostics | ||
| Journalisation des événements d’exécution de pipeline dans un stockage d’événements pour surveiller, analyser et résoudre les problèmes de performances du pipeline. | Oui | Prévu |
| Hub de supervision, qui fournit des fonctionnalités de supervision pour les éléments Fabric | Non | Oui |
| L'application Microsoft Fabric Capacity Metrics, qui fournit des capacités de surveillance pour les capacités Fabric | Non | Oui |
| Journal d’audit, qui suit les activités des utilisateurs dans Fabric et Microsoft 365 | Non | Oui |
1 Utilisez les activités Obtenir les métadonnées, Jusqu’à et Si condition pour la récupération équivalente des métadonnées de l’activité Validation.
2 Utilisez la fonction Appeler un pipeline distant pour exécuter les activités de flux de données de mappage, reportez-vous à l’Activité Appeler un pipeline.
3 Pour afficher les connecteurs actuellement pris en charge pour les pipelines de données, reportez-vous à la Prise en charge des pipelines.
4 Utiliser des flux d’événements Fabric et Reflex pour déclencher des événements d’exécution, reportez-vous aux déclencheurs d’événements de pipeline .
Considérations
Il existe d’autres considérations à prendre en compte dans votre planification avant de migrer vers des pipelines Fabric.
Gestion des licences
Les pipelines Fabric nécessitent au minimum une licence Microsoft Fabric (gratuite) pour rédiger du contenu dans un espace de travail à capacité Premium. Pour en savoir plus, reportez-vous à licences Fabric.
Feuille de route
La documentation du plan de publication de Microsoft Fabric annonce les dernières mises à jour et chronologies aux clients à mesure que les fonctionnalités sont préparées pour les futures versions, notamment les nouveautés et les planifications pour Data Factory dans Microsoft Fabric.
Pour plus d’informations, consultez documentation relative au plan de publication Microsoft Fabric.
Contenu connexe
Découvrez comment planifier votre migration ADF vers Fabric Data Factory.