Intégrer des flux de données Gen2 et des pipelines dans Microsoft Fabric
Les flux de données Gen2 constituent une excellente option pour les transformations de données dans Microsoft Fabric. La combinaison de flux de données et de pipelines est utile quand vous devez effectuer des opérations supplémentaires sur les données transformées.
Les pipelines de données sont un concept courant dans l’engineering données et offrent une grande variété d’activités à orchestrer. Voici certaines activités courantes :
- Copier des données
- Incorporer un flux de données
- Ajouter un notebook
- Obtenir les métadonnées
- Exécuter un script ou une procédure stockée
Les pipelines fournissent un moyen visuel d’effectuer des activités dans un ordre spécifique. Vous pouvez utiliser un flux de données pour l’ingestion, la transformation et l’arrivée des données dans un magasin de données Fabric. Incorporez ensuite le flux de données dans un pipeline pour orchestrer des activités supplémentaires, telles que l’exécution de scripts ou de procédures stockées une fois le flux de données terminé.
Les pipelines peuvent également être planifiés ou activés par un déclencheur pour exécuter votre flux de données. À l’aide d’un pipeline pour exécuter votre flux de données, vous pouvez avoir les données actualisées lorsque vous en avez besoin au lieu de devoir exécuter manuellement le flux de données. Lorsque vous travaillez avec des données d’entreprise ou fréquemment modifiées, l’automatisation vous permet de vous concentrer sur d’autres responsabilités.
