Ingérer des données avec Azure Synapse Link

Article
11/14/2024

Suivre les étapes décrites dans cet article pour importer les données environnementales de votre organisation à partir du modèle de données Sustainability Manager dans Dataverse les IngestedRawData lakehouse dans votre espace de travail Fabric en utilisant Azure Synapse Link.

Conditions préalables

Déployez la fonctionnalité Données et informations environnementales dans l’espace de travail Fabric.
Assurez-vous que Microsoft Sustainability Manager est installé et configuré dans votre Dataverse environnement.
Assurez-vous que vous disposez du système Administrateur rôle de sécurité. Dataverse
Déployez la fonctionnalité de données et d’informations environnementales dans votre espace de travail Fabric.
Assurez-vous que vous disposez d’un compte de stockage Azure Data Lake Storage Gen2.
Assurez-vous que vous disposez du système Administrateur rôle de sécurité. Dataverse
Assurez-vous que vous disposez d’un compte Azure Data Lake Storage Gen2 et d’un accès au rôle Propriétaire et Données Blob de Stockage collaborateur. Votre compte de stockage doit activer l’espace de noms hiérarchique pour la configuration initiale et la synchronisation delta. Autoriser l’accès à la clé du compte de stockage est requis uniquement pour la configuration initiale.

Étape 1 : Configurer Azure Synapse Link

Dans ce étape, vous configurez un Azure Synapse Link pour le Sustainability Manager environnement à partir duquel vous souhaitez importer des données dans les solutions de données Sustainability dans l’espace de travail Fabric.

Ouvrez le portail. Power Apps En haut à droite, Sélectionner votre Dataverse Connecter où Sustainability Manager est installé.
Sélectionner Azure Synapse Link dans le volet de gauche, puis Sélectionner Nouveau lien. Si ce n’est pas déjà le cas, Sélectionner More, Sélectionner Découvrir tout, Sélectionner Gestion des données, puis Sélectionner Azure Synapse Link.
Laissez l’option Se connecter à votre espace de travail Azure Synapse Analytics décochée. Vous exécutez les scripts d’intégration et de transformation sur Fabric, et non sur Synapse.
Saisissez votre compte de stockage et les détails de l’abonnement, puis sélectionnez Suivant. Vous pouvez uniquement sélectionner un compte de stockage situé dans le même emplacement que votre environnement. Par exemple, si votre environnement se trouve dans USA Ouest, votre compte de stockage doit être dans USA Ouest ou USA Ouest2.
Sélectionner tout vos tables Sustainability Manager dans la liste et Sélectionner Enregistrez. Vous pouvez filtrer par msdyn_ pour afficher les tables pertinentes.

Un Azure Synapse Link vers votre compte de stockage est créé et les tables sélectionnées sont exportées vers le compte de stockage. Vous pouvez ajouter ou supprimer les tables dans le lien en revenant à Azure Synapse Link, en sélectionnant le lien que vous avez créé, puis en sélectionnant Gérer les tables.
Ouvrez votre compte Data Lake Storage Gen2 fourni lors de la création du lien dans les étapes précédentes. Un nouveau conteneur commençant par Dataverse- est créé dans votre compte de stockage avec toutes les tables sélectionnées exportées dans la structure de dossiers au format CSV ainsi qu’un fichier model.json qui contient le schéma de toutes les tables. Vos données Sustainability Manager sont désormais disponibles dans votre propre compte de stockage.

Étape 2 : Lier le conteneur Data Lake Storage

Dans ce étape, vous liez le conteneur Data Lake Storage avec les données Sustainability Manager aux IngestedRawData lakehouse de la capacité déployée à l’aide de la fonctionnalité de raccourci Fabric.

Ouvrez l’espace de travail dans Fabric où vous avez déployé la solution Sustainability. Pour ouvrir la solution, sélectionnez-la dans la vue de liste. Sélectionner la capacité de parc de données environnementales, sociales et de gouvernance (ESG) de la vue de liste Gérer les capacités déployées pour accéder à la page des capacités gérées.
À partir de la page des capacités gérées du parc de données ESG, Sélectionner les données brutes ingérées lakehouse.
Sélectionnez Nouveau raccourci dans le menu des points de suspension de Fichiers. Dans la boîte de dialogue Nouveau raccourci , Sélectionner la mosaïque Azure Data Lake Storage Gen2, puis fournissez les détails de connexion suivants au conteneur Data Lake Storage contenant les données Sustainability Manager exportées.
- URL : Accédez au compte Data Lake Storage. Sur le côté gauche, Sélectionner point de terminaison. Copiez ensuite la fin pointer pour Data Lake Storage et collez-la dans le champ URL .
- Connexion : Sélectionner Créer une nouvelle connexion.
- Type d’authentification : Sélectionner Compte d’organisation, connectez-vous à votre compte Data Lake Storage, puis Sélectionner Suivant.
Pour le nom du raccourci, saisissez MSMData, définissez le sous-chemin comme nom de conteneur contenant les données Sustainability Manager précédées du prefixe /, puis sélectionnez Créer. Les données Sustainability Manager sont intégrées avec succès au lac de données sous Fichiers.

Étape 3 : Transformer les données

Une fois les données de Sustainability Manager intégrées dans les IngestedRawData lakehouse, vous devez unifier et harmoniser les données en les transformant en schéma de modèle de données ESG. Le déploiement des capacités a créé le ProcessedESGData lakehouse dans l’espace de travail pour stocker les données harmonisées.

Le schéma du modèle de données ESG relie les entités de données ESG à d’autres entités de données qui décrivent d’autres domaines fonctionnels d’une entreprise, tels que les ressources humaines, l’informatique ou la production financière.

Pour transformer les données Sustainability Manager en schéma de modèle de données ESG, la fonctionnalité fournit des blocs-notes et des pipelines de données qui utilisent des technologies de transformation et d’orchestration prédéfinies à l’aide de bibliothèques stockées dans ConfigAndDemoData lakehouse dans votre espace de travail.

Activez le premier étape et exécutez le pipeline de données TransformMSMDataToProcessedESGData_DTPL pour charger et transformer les données Sustainability Manager en schéma de modèle de données ESG dans ProcessedESGData lakehouse.

Le pipeline de données exécute les étapes suivantes :

Ce étape est désactivé par défaut et doit être activé avant d’exécuter le pipeline. Il charge les données Sustainability Manager liées sous forme de tables lakehouse. Les bibliothèques de transformation nécessitent que les données sources soient au format de table delta. Le bloc-notes LoadMSMDataToLakehouseTables_INTB charge les données Sustainability Manager liées aux tables lakehouse. Une fois ce bloc-notes exécuté avec succès, vous pouvez valider les données dans les tables IngestedRawData lakehouse.
La transformation des données du Sustainability Manager en schéma de modèle de données ESG est un processus en deux étapes :

Tout d’abord, le bloc-notes TransformMSMDataToProcessedESGData_INTB transforme les Microsoft Sustainability Manager données en tables d’importation de données brutes intermédiaires.
Ensuite, le bloc-notes TransformRawImportESGDataToProcessedESGData_INTB transforme les données des tables d’importation de données brutes en schéma de modèle de données ESG.