Dataflow Gen2 avec prise en charge de l’intégration CI/CD et Git (préversion)

Dataflow Gen2 prend désormais en charge l’intégration continue/le déploiement continu (CI/CD) et l’intégration Git. Cette fonctionnalité vous permet de créer, de modifier et de gérer des flux de données dans un référentiel Git connecté à votre espace de travail Fabric. En outre, vous pouvez utiliser la fonctionnalité des pipelines de déploiement pour automatiser le déploiement de flux de données de votre espace de travail vers d’autres espaces de travail. Cet article explique plus en détail comment utiliser Dataflow Gen2 avec l’intégration CI/CD et Git dans Fabric Data Factory.

Nouvelles fonctionnalités

Avec Dataflow Gen2 (CI/CD préversion), vous pouvez désormais :

• utiliser la prise en charge de l’intégration Git pour Dataflow Gen2.
• utiliser la fonctionnalité des pipelines de déploiement pour automatiser le déploiement de flux de données de votre espace de travail vers d’autres espaces de travail.
• utiliser les paramètres et le planificateur Fabric pour actualiser et modifier les paramètres pour Dataflow Gen2.
• créer votre Dataflow Gen2 directement dans un dossier d’espace de travail.

Prérequis

Pour commencer, vous devez remplir les conditions préalables suivantes :

• disposer d’un compte de locataire Microsoft Fabric avec un abonnement actif. Créez un compte gratuitement.
• vérifier que vous disposez d’un espace de travail avec Microsoft Fabric activé.
• Pour profiter de l’intégration Git, assurez-vous qu’elle est activée pour votre espace de travail. Pour en savoir plus sur l’activation de l’intégration Git, accédez à Bien démarrer avec l’intégration Git.

Créer un Dataflow Gen2 avec prise en charge CI/CD et Git

Pour créer un Dataflow Gen2 avec prise en charge CI/CD et Git, procédez comme suit :

1. Dans l’espace de travail Fabric, sélectionnez Créer un élément, puis Dataflow Gen2.

   

2. Donnez un nom à votre flux de données et activez l’intégration Git. Sélectionnez ensuite Créer.

   

   Le flux de données est créé et vous êtes redirigé vers le canevas de création de flux de données. Vous pouvez maintenant commencer à créer votre flux de données.

3. Lorsque vous avez terminé, sélectionnez Enregistrer et exécuter.

   

4. Une fois publié, le flux de données a un état non validé.

   

5. Pour valider le flux de données dans le référentiel Git, sélectionnez l’icône de contrôle de code source dans le coin supérieur droit de la vue de l’espace de travail.

   

6. Sélectionnez toutes les modifications que vous souhaitez valider, puis sélectionnez Valider.

   

Vous disposez maintenant d’un Dataflow Gen2 avec prise en charge CI/CD et Git. Nous vous suggérons de suivre les meilleures pratiques pour utiliser l’intégration CI/CD et Git dans Fabric décrites dans le tutoriel Scénario 2 : développer à l’aide d’un autre espace de travail.

Actualiser un Dataflow Gen2 ou planifier une actualisation

Vous pouvez actualiser un Dataflow Gen2 avec prise en charge CI/CD et Git de deux manières : manuellement ou en planifiant une actualisation. Les sections suivantes décrivent comment actualiser un Dataflow Gen2 avec prise en charge CI/CD et Git.

Actualiser maintenant

1. Dans l’espace de travail Fabric, sélectionnez l’icône des options supplémentaires à côté du flux de données que vous souhaitez actualiser.

2. Sélectionnez Actualiser maintenant.

   

Programmer une actualisation

Si votre flux de données doit être actualisé à intervalle régulier, vous pouvez planifier l’actualisation à l’aide du planificateur Fabric.

1. Dans l’espace de travail Fabric, sélectionnez l’icône des options supplémentaires à côté du flux de données que vous souhaitez actualiser.

2. Sélectionnez Planification.

   

3. Dans la page de planification, vous pouvez définir la fréquence d’actualisation et l’heure de début et l’heure de fin. Vous pouvez ensuite appliquer les modifications.

   

4. Pour démarrer l’actualisation maintenant, sélectionnez le bouton Actualiser.

Historique et paramètres d’actualisation

Pour afficher l’historique des actualisations du flux de données, vous pouvez sélectionner l’onglet Historique des actualisations dans le menu déroulant ou accéder au hub de surveillance et sélectionner le flux de données dont vous souhaitez afficher l’historique d’actualisation.

Paramètres de Dataflow Gen2 avec CI/CD

L’accès aux paramètres du nouveau Dataflow Gen2 avec prise en charge CI/CD et Git est similaire à tout autre élément Fabric. Vous pouvez accéder aux paramètres en sélectionnant l’icône des options supplémentaires à côté du flux de données et en sélectionnant les paramètres.

Limitations et problèmes connus

• Les artefacts intermédiaires se trouvent dans certaines expériences visibles comme l’interface utilisateur ALM. Les artefacts intermédiaires seront masqués dans toutes les expériences à l’avenir.
• Lorsque vous supprimez le dernier Dataflow Gen2 avec prise en charge CI/CD et Git, les artefacts intermédiaires deviennent visibles dans l’espace de travail et peuvent être supprimés par l'utilisateur en toute sécurité.
• Certaines expériences mentionnent la prise en charge des API REST, mais ces API ne sont pas encore disponibles. Tous les Dataflow Gen2 avec prise en charge CI/CD et Git prendront en charge l’API publique Fabric à l’avenir.
• L’orchestration d’une actualisation d’un flux de données Gen2 avec la prise en charge CI/CD et Git n’est pas possible dans les pipelines de données Fabric.
• La vue de l’espace de travail ne s’affiche pas si une actualisation est en cours pour le flux de données.
• Copilot pour Dataflow Gen2 avec prise en charge CI/CD et Git n’est pas encore disponible.
• Les connexions de passerelle de réseau virtuel ne sont pas encore prises en charge dans l’expérience de création de flux de données.
• Vous ne pouvez pas exporter le fichier Dataflow.json à partir du menu de l’espace de travail. Les solutions de contournement qui vous permettent d’exporter le flux de données sont les suivantes :
  • utiliser l’API publique Fabric pour obtenir le fichier Dataflow.json.
  • utiliser la fonctionnalité Exporter le modèle Power Query pour exporter la définition du flux de données.
  • utiliser l’explorateur OneLake dans l’espace de travail pour obtenir la définition du flux de données.
• Dataflow Gen2 avec prise en charge CI/CD et Git ne prend pas en charge la fonctionnalité Prendre possession dans l’espace de travail Fabric. Par conséquent, seul le créateur du flux de données peut modifier le flux de données. Si vous souhaitez travailler à plusieurs sur un flux de données, vous pouvez utiliser des branches dans le référentiel Git et créer une demande de tirage pour fusionner les modifications. Pour plus d’informations, accédez au Scénario 2 : développer à l’aide d’un autre espace de travail.
• Lors de la création de branche vers un autre espace de travail, une actualisation du flux de données Gen2 peut échouer avec le message indiquant que le lakehouse intermédiaire n’a pas pu être trouvé. Lorsque cela se produit, créez un Flux de données Gen2 avec CI/CD et une prise en charge Git dans l’espace de travail pour déclencher la création du lakehouse intermédiaire. Après cela, tous les autres flux de données de l’espace de travail devraient recommencer à fonctionner.
• Lorsque vous créez un élément dans votre espace de travail, il peut afficher l’élément « Flux de données Gen2 (CI/CD, préversion) ». Ignorez celui-ci et suivez les instructions décrites dans cet article. Cela peut prendre un certain temps jusqu’à ce que votre région affiche la case à cocher pour activer la prise en charge CI/CD et Git.
• La copie rapide peut ne pas être activée par défaut dans votre flux de données. Vous pouvez l’activer à l’aide des paramètres de flux de données.