Delen via

Gegevens opnemen met Azure Synapse Link

  • Artikel

Volg de stappen in dit artikel om de milieugegevens van uw organisatie uit het datamodel Sustainability Manager in Dataverse naar de IngestedRawData Lakehouse in uw Fabric-werkruimte te halen met behulp van Azure Synapse Link.

Voorwaarden

  • Implementeer de functionaliteit voor omgevingsgegevens en -inzichten in de Fabric-werkruimte.
  • Zorg ervoor dat Microsoft Sustainability Manager is geïnstalleerd en ingesteld in uw Dataverse omgeving.
  • Zorg ervoor dat u de beveiligingsrol systeembeheerder hebt. Dataverse
  • Implementeer de functionaliteit voor omgevingsgegevens en -inzichten in uw Fabric-werkruimte.
  • Zorg ervoor dat u een Azure Data Lake Storage Gen2-opslagaccount hebt.
  • Zorg ervoor dat u de beveiligingsrol systeembeheerder hebt. Dataverse
  • Zorg ervoor dat u een Azure Data Lake Storage Gen2-account en de rol Eigenaar en Opslagblob-gegevensbijdrager hebt. Uw opslagaccount moet hiërarchische naamruimte inschakelen voor zowel de initiële installatie als deltasynchronisatie. Sleuteltoegang tot het opslagaccount toestaan is alleen vereist voor de initiële installatie.

In deze stap stelt u een Azure Synapse koppeling in voor de Sustainability Manager-omgeving van waaruit u gegevens wilt importeren in de Sustainability-gegevensoplossingen in de Fabric-werkruimte.

  1. Open de Power Apps portal. Selecteer rechtsboven uw Dataverse omgeving waarin Sustainability Manager is geïnstalleerd.

  2. Selecteer Azure Synapse Link in het linkerdeelvenster en selecteer vervolgens Nieuwe link. Als dit nog niet wordt weergegeven, selecteert u Meer, selecteert u Alles ontdekken, selecteert u Gegevensbeheer en selecteert u vervolgens Azure Synapse Koppelen.

    Schermafbeelding van het selecteren van Azure Synapse Link.

  3. Laat Verbinding maken met uw Azure Synapse Analytics-werkruimte uitgeschakeld. U voert de integratie- en transformatiescripts uit op Fabric, niet op Synapse.

  4. Voer uw opslagaccount en abonnementsgegevens in en selecteer Volgende. U kunt alleen een opslagaccount selecteren dat zich in dezelfde locatie als uw omgeving bevindt. Als uw omgeving zich bijvoorbeeld in het westen van de VS bevindt, moet uw opslagaccount zich in US - west of US - west 2 bevinden.

    Schermafbeelding van het instellen van een nieuwe link.

  5. Selecteer al uw Sustainability Manager-tabellen uit de lijst en selecteer Opslaan. U kunt filteren op msdyn_ om de relevante tabellen te bekijken.

    Er wordt een koppeling naar uw opslagaccount gemaakt en de geselecteerde tabellen worden naar het opslagaccount geëxporteerd. Azure Synapse U kunt tabellen aan de koppeling toevoegen of verwijderen door terug te gaan naar Azure Synapse Koppeling, de koppeling die u hebt gemaakt te selecteren en vervolgens Tabellen beheren te selecteren.

    Schermafbeelding van het beheren van tabellen.

  6. Open het Data Lake Storage Gen2-account dat u hebt gekregen toen u de koppeling in de vorige stappen maakte. Er wordt een nieuwe container gemaakt in uw opslagaccount die begint met Dataverse- , waarbij alle geselecteerde tabellen worden geëxporteerd in een mapstructuur in CSV-formaat, samen met een model.json bestand dat het schema voor alle tabellen bevat. Uw Sustainability Manager-gegevens zijn nu beschikbaar in uw eigen opslagaccount.

In deze stap koppelt u de Data Lake Storage-container met Sustainability Manager-gegevens aan de IngestedRawData lakehouse van de geïmplementeerde mogelijkheid met behulp van de Fabric-snelkoppelingsfunctionaliteit.

  1. Open de werkruimte in Fabric waarin u de Sustainability-oplossing hebt geïmplementeerd. Selecteer de oplossing in de lijstweergave om deze te openen. Selecteer de ESG-datacapaciteit (Environmental, Social, and Governance) in de lijstweergave Beheer geïmplementeerde capaciteiten om naar de pagina Beheerde capaciteiten te gaan.

  2. Selecteer op de pagina met beheerde mogelijkheden voor ESG-data-estate de optie IngestedRawData lakehouse.

    Schermafbeelding van het selecteren van een lakehouse.

  3. Selecteer Nieuwe snelkoppeling in het menu met het beletselteken voor Bestanden. Selecteer in het dialoogvenster Nieuwe snelkoppeling de tegel Azure Data Lake Storage Gen2 en geef de volgende verbindingsgegevens op om verbinding te maken met de Data Lake Storage-container met de geëxporteerde Sustainability Manager-gegevens.

    • URL: Ga naar het Data Lake Storage-account. Selecteer aan de linkerkant Eindpunt. Kopieer vervolgens het eindpunt voor Data Lake Storage en plak het in het veld URL .
    • Verbinding: Selecteer Nieuwe verbinding maken.
    • Verificatietype: Selecteer Organisatieaccount, meld u aan bij uw Data Lake Storage-account en selecteer vervolgens Volgende.

    Schermafbeelding van verbindingsinstellingen.

  4. Voer voor de snelkoppelingsnaam MSMData in, stel het subpad in als de containernaam die de Sustainability Manager-gegevens bevat, voorafgegaan door /, en selecteer vervolgens Maken. De Sustainability Manager-gegevens zijn geïntegreerd met het data lake onder Bestanden.

Stap 3: Gegevens transformeren

Nadat de gegevens van de Sustainability Manager zijn geïntegreerd in de IngestedRawData Lakehouse, moet u de gegevens verenigen en harmoniseren door deze om te zetten in het [ESG-datamodel(../esg-data-model/overview.md)]-schema. De implementatie van de capaciteit creëerde het ProcessedESGData lakehouse in de werkruimte voor het opslaan van de geharmoniseerde gegevens.

Het ESG-datamodelschema koppelt de ESG-data-entiteiten aan andere data-entiteiten die andere functionele gebieden van een bedrijf beschrijven, zoals HR, IT of financiële productie.

Voor het transformeren van Sustainability Manager-gegevens naar het ESG-datamodelschema biedt de mogelijkheid notebooks en gegevenspijplijnen die gebruikmaken van vooraf gebouwde transformatie- en orkestratietechnologieën met behulp van bibliotheken die zijn opgeslagen in het ConfigAndDemoData-Lakehouse in uw werkruimte. ...

Activeer de eerste stap en voer de TransformMSMDataToProcessedESGData_DTPL gegevenspijplijn uit om de Sustainability Manager-gegevens te laden en te transformeren naar het ESG-datamodel schema in het ProcessedESGData lakehouse.

Schermafbeelding van het transformeren van gegevens.

De gegevenspijplijn voert de volgende stappen uit:

  1. Deze stap is standaard gedeactiveerd en moet worden geactiveerd voordat de pijplijn wordt uitgevoerd. De gekoppelde Sustainability Manager-gegevens worden geladen als Lakehouse-tabellen. De transformatiebibliotheken vereisen dat de brongegevens de deltatabelindeling hebben. De LoadMSMDataToLakehouseTables_INTB notebook laadt de gekoppelde Sustainability Manager-gegevens in de Lakehouse-tabellen. Nadat dit notebook succesvol is uitgevoerd, kunt u de gegevens in de IngestedRawData Lakehouse-tabellen valideren.

  2. De transformatie van de Sustainability Manager-gegevens naar het ESG-datamodel schema is een proces in twee fasen:

  • Eerst transformeert de notebook TransformMSMDataToProcessedESGData_INTB de gegevens naar de tussenliggende tabellen voor het importeren van ruwe gegevens. Microsoft Sustainability Manager
  • Vervolgens transformeert de TransformRawImportESGDataToProcessedESGData_INTB notebook de gegevens uit de importtabellen voor ruwe gegevens naar het ESG-datamodel schema.