Εισαγωγή δεδομένων με Azure Synapse Link

Άρθρο
11/14/2024

Ακολουθήστε τα βήματα σε αυτό το άρθρο για να μεταφέρετε τα περιβαλλοντικά δεδομένα του οργανισμού σας από το μοντέλο δεδομένων Sustainability Manager στο Dataverse IngestedRawData lakehouse στο χώρο εργασίας Fabric χρησιμοποιώντας το Azure Synapse Link.

Προαπαιτούμενα

Αναπτύξτε τη δυνατότητα περιβαλλοντικών δεδομένων και πληροφοριών στον χώρο εργασίας Fabric.
Βεβαιωθείτε ότι Microsoft Sustainability Manager έχει εγκατασταθεί και ρυθμιστεί στο περιβάλλον σας Dataverse .
Βεβαιωθείτε ότι έχετε το Dataverse σύστημα Διαχειριστής ρόλος ασφαλείας.
Αναπτύξτε τη δυνατότητα περιβαλλοντικών δεδομένων και πληροφοριών στον χώρο εργασίας Fabric.
Βεβαιωθείτε ότι έχετε Azure Data Lake Storage λογαριασμό αποθήκευσης Gen2.
Βεβαιωθείτε ότι έχετε το Dataverse σύστημα Διαχειριστής ρόλος ασφαλείας.
Βεβαιωθείτε ότι έχετε Azure Data Lake Storage λογαριασμό Gen2 και πρόσβαση σε ρόλο Owner and Storage Blob Data συμμετέχων. Ο λογαριασμός χώρου αποθήκευσης πρέπει να ενεργοποιήσει τον ιεραρχικό χώρο ονομάτων τόσο για την αρχική εγκατάσταση όσο και για τον συγχρονισμό δέλτα. Το Να επιτρέπεται η πρόσβαση κλειδιού λογαριασμού χώρου αποθήκευσης απαιτείται μόνο για την αρχική εγκατάσταση.

Βήμα 1: Ρύθμιση Azure Synapse Link

Σε αυτήν την βήμα, ρυθμίζετε ένα Azure Synapse Link περιβάλλον Sustainability Manager από το οποίο θέλετε να μεταφέρετε δεδομένα στις λύσεις δεδομένων βιωσιμότητας στον χώρο εργασίας Fabric.

Ανοίξτε την Power Apps πύλη. Επάνω δεξιά, επιλέξτε το περιβάλλον σας Dataverse όπου είναι εγκατεστημένο το Sustainability Manager.
Επιλέξτε Azure Synapse Link από το αριστερό τμήμα παραθύρου και, στη συνέχεια, επιλέξτε Νέα σύνδεση. Εάν δεν εμφανίζεται ήδη, επιλέξτε Περισσότερα, επιλέξτεΑνακαλύψτε όλα, επιλέξτε Διαχείριση δεδομένων και, στη συνέχεια, επιλέξτε Azure Synapse Link.
Μην επιλέγετε Σύνδεση στον χώρο εργασίας Azure Synapse Analytics. Εκτελείτε τα σενάρια ενοποίησης και μετασχηματισμού στο Fabric, όχι στο Synapse.
Εισαγάγετε τον λογαριασμό αποθήκευσης και τα στοιχεία της συνδρομής σας και επιλέξτε Επόμενο. Μπορείτε να επιλέξετε μόνο έναν λογαριασμό αποθήκευσης που βρίσκεται στην ίδια τοποθεσία με το περιβάλλον σας. Για παράδειγμα, εάν το περιβάλλον σας βρίσκεται στις Δυτικές ΗΠΑ, ο λογαριασμός αποθήκευσής σας θα πρέπει να είναι στις Δυτικές ΗΠΑ ή στις Δυτικές ΗΠΑ2.
Επιλέξτε όλους τους Sustainability Manager πίνακες από τη λίστα και επιλέξτε Αποθήκευση. Μπορείτε να φιλτράρετε κατά msdyn_ για να προβάλετε τους σχετικούς πίνακες.

Δημιουργείται ένα Azure Synapse Link στον λογαριασμό αποθήκευσης και οι επιλεγμένοι πίνακες εξάγονται στον λογαριασμό αποθήκευσης. Μπορείτε να προσθέσετε ή να καταργήσετε τους πίνακες στη σύνδεση, επιστρέφοντας στο Azure Synapse Link, επιλέγοντας τη σύνδεση που δημιουργήσατε και, στη συνέχεια, επιλέγοντας Διαχείριση πινάκων.
Ανοίξτε τον λογαριασμό σας Data Lake Storage Gen2 που παρέχεται κατά τη δημιουργία του συνδέσμου σε προηγούμενα βήματα. Ένα νέο κοντέινερ που ξεκινά με-δημιουργείται Dataverse στον λογαριασμό σας χώρου αποθήκευσης με όλους τους επιλεγμένους πίνακες να εξάγονται σε δομή φακέλου σε μορφή CSV μαζί με ένα αρχείο model.json που περιέχει το σχήμα για όλους τους πίνακες. Τα δεδομένα του Sustainability Manager είναι πλέον διαθέσιμα στον δικό σας λογαριασμό αποθήκευσης.

Βήμα 2: Συνδέστε το κοντέινερ Data Lake Storage

Σε αυτήν την βήμα, μπορείτε να συνδέσετε το κοντέινερ Data Lake αποθήκευσης με δεδομένα Sustainability Manager με το IngestedRawData lakehouse της αναπτυγμένης δυνατότητας χρησιμοποιώντας τη λειτουργία συντόμευσης Fabric.

Ανοίξτε τον χώρο εργασίας στο Fabric στον οποίο αναπτύξατε τη λύση Sustainability. Επιλέξτε τη λύση από την προβολή λίστας για να ανοίξετε τη λύση. Επιλέξτε τη δυνατότητα διαχείρισης περιβαλλοντικών, κοινωνικών και σχετικών με τη διακυβέρνηση δεδομένων (ESG) από την προβολή λίστας Διαχείριση ανεπτυγμένων δυνατοτήτων για να μεταβείτε στη σελίδα διαχειριζόμενων δυνατοτήτων.
Από τη σελίδα διαχειριζόμενων δυνατοτήτων διαχείρισης δεδομένων ESG, επιλέξτε το IngestedRawData lakehouse.
Επιλέξτε Νέα συντόμευση από το μενού με τα αποσιωπητικά των Αρχείων. Στο παράθυρο διαλόγου Νέα συντόμευση , επιλέξτε το Azure Data Lake Storage πλακίδιο Gen2 και, στη συνέχεια, δώστε τις ακόλουθες λεπτομέρειες σύνδεσης για να συνδεθείτε με το κοντέινερ Data Lake Storage που έχει τα εξαγόμενα δεδομένα Sustainability Manager.
- URL: Μεταβείτε στον λογαριασμό Data Lake Storage. Στην αριστερή πλευρά, επιλέξτε τελικό σημείο. Στη συνέχεια, αντιγράψτε το τελικό σημείο για Data Lake Αποθήκευση και επικολλήστε το στο πεδίο URL .
- Σύνδεση: Επιλέξτε Δημιουργία νέας σύνδεσης.
- Είδος ελέγχου ταυτότητας: Επιλέξτε Λογαριασμός οργανισμού, συνδεθείτε στο λογαριασμό Data Lake χώρου αποθήκευσης και, στη συνέχεια, επιλέξτε Επόμενο.
Για το όνομα συντόμευσης, πληκτρολογήστε MSMData, ορίστε τη δευτερεύουσα διαδρομή ως όνομα κοντέινερ που περιέχει τα δεδομένα του Sustainability Manager με πρόθεμα / και, στη συνέχεια, επιλέξτε Δημιουργία. Τα δεδομένα του Sustainability Manager ενσωματώθηκαν επιτυχώς με τη λίμνη δεδομένων στα Αρχεία.

Βήμα 3: Μετασχηματισμός δεδομένων

Αφού τα δεδομένα Sustainability Manager ενσωματωθούν στο σχήμα IngestedRawData lakehouse, πρέπει να ενοποιήσετε και να εναρμονίσετε τα δεδομένα μετατρέποντάς τα στο σχήμα μοντέλου δεδομένων ESG]. Η ανάπτυξη δυνατοτήτων δημιούργησε το ProcessedESGData lakehouse στο χώρο εργασίας για την αποθήκευση των εναρμονισμένων δεδομένων.

Το σχήμα μοντέλου δεδομένων ESG συνδέει τις οντότητες δεδομένων ESG με άλλες οντότητες δεδομένων που περιγράφουν άλλους λειτουργικούς τομείς μιας εταιρείας, όπως το HR, το IT ή η χρηματοοικονομική παραγωγή.

Για τον μετασχηματισμό δεδομένων Sustainability Manager στο σχήμα μοντέλου δεδομένων ESG, η δυνατότητα παρέχει σημειωματάρια και διοχετεύσεις δεδομένων που χρησιμοποιούν προδομημένες τεχνολογίες μετασχηματισμού και ενορχήστρωσης χρησιμοποιώντας βιβλιοθήκες που είναι αποθηκευμένες στο ConfigAndDemoData lakehouse στον χώρο εργασίας σας.

Ενεργοποιήστε την πρώτη βήμα και εκτελέστε τη διοχέτευση δεδομένων TransformMSMDataToProcessedESGData_DTPL για να φορτώσετε και να μετατρέψετε τα δεδομένα Sustainability Manager στο σχήμα μοντέλου δεδομένων ESG στο ProcessedESGData lakehouse.

Η διοχέτευση δεδομένων εκτελεί τα εξής βήματα:

Αυτή η βήμα είναι απενεργοποιημένη από προεπιλογή και πρέπει να ενεργοποιηθεί πριν από την εκτέλεση της διοχέτευσης. Φορτώνει τα συνδεδεμένα δεδομένα Sustainability Manager ως πίνακες lakehouse. Οι βιβλιοθήκες μετασχηματισμού απαιτούν τα δεδομένα προέλευσης να είναι σε μορφή πίνακα δέλτα. Το σημειωματάριο LoadMSMDataToLakehouseTables_INTB φορτώνει τα συνδεδεμένα δεδομένα Sustainability Manager στους πίνακες lakehouse. Μετά την επιτυχή εκτέλεση αυτού του σημειωματαρίου, μπορείτε να επικυρώσετε τα δεδομένα στους πίνακες IngestedRawData lakehouse.
Ο μετασχηματισμός των Sustainability Manager δεδομένων στο σχήμα μοντέλου δεδομένων ESG είναι μια διαδικασία δύο σταδίων:

Πρώτον, το σημειωματάριο TransformMSMDataToProcessedESGData_INTB μετατρέπει τα Microsoft Sustainability Manager δεδομένα στους ενδιάμεσους πίνακες εισαγωγής ανεπεξέργαστων δεδομένων.
Στη συνέχεια, το σημειωματάριο TransformRawImportESGDataToProcessedESGData_INTB μετατρέπει τα δεδομένα από πίνακες εισαγωγής ανεπεξέργαστων δεδομένων στο σχήμα μοντέλου δεδομένων ESG.