Freigeben über

Daten mit Azure Synapse Link erfassen

  • Artikel

Befolgen Sie die Schritte in diesem Artikel, um die Umweltdaten Ihrer Organisation mithilfe von Dataverse Link aus dem Sustainability Manager-Datenmodell in das IngestedRawData Lakehouse in Ihrem Fabric-Arbeitsbereich zu übertragen. Azure Synapse

Anforderungen

  • Stellen Sie die Funktion für Umweltdaten und -erkenntnisse im Fabric-Arbeitsbereich bereit.
  • Stellen Sie sicher, dass Microsoft Sustainability Manager in Ihrer Dataverse Umgebung installiert und eingerichtet ist.
  • Stellen Sie sicher, dass Sie über die Dataverse Sicherheitsrolle des Systemadministrators verfügen.
  • Stellen Sie die Funktion für Umweltdaten und -einblicke in Ihrem Fabric-Arbeitsbereich bereit.
  • Stellen Sie sicher, dass Sie über ein Azure Data Lake Storage Gen2-Speicherkonto verfügen.
  • Stellen Sie sicher, dass Sie über die Dataverse Sicherheitsrolle des Systemadministrators verfügen.
  • Stellen Sie sicher, dass Sie über ein Azure Data Lake Storage Gen2-Konto sowie Zugriff auf die Rollen „Besitzer“ und „Storage Blob Data Contributor“ verfügen. Ihr Speicherkonto muss den hierarchischen Namespace sowohl für die Ersteinrichtung als auch für die Deltasynchronisierung aktivieren. Die Möglichkeit zum Speicherkontoschlüsselzugriff ist nur für die Ersteinrichtung erforderlich.

In diesem Schritt richten Sie einen Azure Synapse Link für die Sustainability Manager-Umgebung ein, aus der Sie Daten in den Sustainability-Datenlösungen im Fabric-Arbeitsbereich bringen möchten.

  1. Öffnen Sie das Power Apps Portal. Wählen Sie oben rechts Ihre Dataverse Umgebung aus, in der Sustainability Manager installiert ist.

  2. Wählen Sie im linken Bereich Azure Synapse Link und dann Neuer Link. Wenn es nicht bereits angezeigt wird, wählen Sie Mehr, wählen Sie Alles entdecken, wählen Sie Datenverwaltung und wählen Sie dann Azure Synapse Link.

    Screenshot der Auswahl des Azure Synapse Links.

  3. Aktivieren Sie Eine Verbindung mit Ihrem Azure Synapse Analytics-Arbeitsbereich herstellen nicht. Sie führen die Integrations- und Transformationsskripte auf Fabric und nicht auf Synapse aus.

  4. Geben Sie Ihr Speicherkonto und Ihre Abonnementdetails ein und wählen Sie Weiter. Sie können nur ein Speicherkonto auswählen, das sich am selben Speicherort wie Ihre Umgebung befindet. Wenn sich Ihre Umgebung beispielsweise in den USA, Westen, befindet, sollte sich Ihr Speicherkonto in den USA, Westen, oder USA, Westen2, befinden.

    Screenshot vom Einrichten eines neuen Links.

  5. Wählen Sie alle Ihre Sustainability Manager-Tabellen aus der Liste aus und wählen Sie „Speichern“ aus. Sie können nach msdyn_ filtern, um die relevanten Tabellen anzuzeigen.

    Eine Azure Synapse Verknüpfung zu Ihrem Speicherkonto wird erstellt und die ausgewählten Tabellen werden in das Speicherkonto exportiert. Sie können die Tabellen im Link hinzufügen oder entfernen, indem Sie zu Azure Synapse Link zurückkehren, den von Ihnen erstellten Link auswählen und dann Tabellen verwalten auswählen.

    Screenshot der Tabellenverwaltung.

  6. Öffnen Sie Ihr Data Lake Storage Gen2-Konto, das Sie beim Erstellen des Links in den vorherigen Schritten bereitgestellt haben. In Ihrem Speicherkonto wird ein neuer Container erstellt, der mit Dataverse- beginnt. Dabei werden alle ausgewählten Tabellen in einer Ordnerstruktur im CSV-Format exportiert, zusammen mit einer Datei model.json , die das Schema für alle Tabellen enthält. Ihre Sustainability Manager-Daten sind jetzt in Ihrem eigenen Speicherkonto verfügbar.

In diesem Schritt verknüpfen Sie den Data Lake Storage-Container mit Sustainability Manager-Daten mithilfe der Fabric-Verknüpfungsfunktion mit dem IngestedRawData Lakehouse der bereitgestellten Funktion.

  1. Öffnen Sie den Arbeitsbereich in Fabric, in dem Sie die Sustainability-Lösung bereitgestellt haben. Um die Lösung anzuzeigen, wählen Sie sie aus der Listenansicht aus. Wählen Sie die Datenbestandsfunktion für Umwelt, Soziales und Unternehmensführung (ESG) aus der Listenansicht „Bereitgestellte Funktionen verwalten“ aus, um zur Seite „Verwaltete Funktionen“ zu gelangen.

  2. Wählen Sie auf der Seite mit den verwalteten Funktionen des ESG-Datenbestands das IngestedRawData Lakehouse aus.

    Screenshot der Auswahl des Seehauses.

  3. Wählen Sie Neue Verknüpfung aus dem Ellipsenmenü von Dateien aus. Wählen Sie im Dialogfeld Neue Verknüpfung die Kachel Azure Data Lake Storage Gen2 aus und geben Sie dann die folgenden Verbindungsdetails ein, um eine Verbindung mit dem Data Lake Storage-Container herzustellen, der die exportierten Sustainability Manager-Daten enthält.

    • URL: Gehen Sie zum Data Lake Storage-Konto. Wählen Sie auf der linken Seite Endpunkt aus. Kopieren Sie dann den Endpunkt für Data Lake Storage und fügen Sie ihn in das Feld URL ein.
    • Verbindung: Wählen Sie Neue Verbindung erstellen.
    • Authentifizierungsart: Wählen Sie Organisationskonto, melden Sie sich bei Ihrem Data Lake Storage-Konto an und wählen Sie dann Weiter.

    Screenshot der Verbindungseinstellungen.

  4. Geben Sie als Verknüpfungsnamen MSMData ein, legen Sie den Unterpfad als Containernamen fest, der die Sustainability Manager-Daten mit dem Präfix / enthält, und wählen Sie dann Erstellen aus. Die Sustainability Manager-Daten wurden unter Dateien erfolgreich in den Data Lake integriert.

Schritt 3: Daten umwandeln

Nachdem die Sustainability Manager-Daten in das IngestedRawData Lakehouse integriert wurden, müssen Sie die Daten vereinheitlichen und harmonisieren, indem Sie sie in das Schema [ESG-Datenmodell(../esg-data-model/overview.md)] transformieren. Durch die Bereitstellung der Funktion wurde im Arbeitsbereich das ProcessedESGData Lakehouse zum Speichern der harmonisierten Daten erstellt.

Das Schema des ESG-Datenmodells verknüpft die ESG-Datenentitäten mit anderen Datenentitäten, die andere Funktionsbereiche eines Unternehmens beschreiben, wie etwa Personalwesen, IT oder Finanzproduktion.

Zum Transformieren von Sustainability Manager-Daten in das Schema des ESG-Datenmodells stellt die Funktion Notebooks und Datenpipelines bereit, die vorgefertigte Transformations- und Orchestrierungstechnologien mithilfe von Bibliotheken verwenden, die im ConfigAndDemoData Lakehouse in Ihrem Arbeitsbereich gespeichert sind.

Aktivieren Sie den ersten Schritt und führen Sie die Datenpipeline TransformMSMDataToProcessedESGData_DTPL aus, um die Sustainability Manager-Daten zu laden und in das Schema des ESG-Datenmodells im ProcessedESGData Lakehouse zu transformieren.

Screenshot der Datentransformation.

Die Datenpipeline führt diese Schritte aus:

  1. Dieser Schritt ist standardmäßig deaktiviert und muss vor dem Ausführen der Pipeline aktiviert werden. Es lädt die verknüpften Sustainability Manager-Daten als Lakehouse-Tabellen. Die Transformationsbibliotheken erfordern, dass die Quelldaten im Delta-Tabellenformat vorliegen. Das Notebook LoadMSMDataToLakehouseTables_INTB lädt die verknüpften Sustainability Manager-Daten in die Lakehouse-Tabellen. Nachdem dieses Notebook erfolgreich ausgeführt wurde, können Sie die Daten in den IngestedRawData Lakehouse-Tabellen validieren.

  2. Die Transformation der Sustainability Manager-Daten in das ESG-Datenmodell Schema erfolgt in zwei Schritten:

  • Zuerst transformiert das Notebook TransformMSMDataToProcessedESGData_INTB die Microsoft Sustainability Manager Daten in die zwischengeschalteten Rohdatenimporttabellen.
  • Anschließend transformiert das Notebook TransformRawImportESGDataToProcessedESGData_INTB die Daten aus den Rohdaten-Importtabellen in das Schema des ESG-Datenmodells .