Hent inn data med Azure Synapse Link
Følg fremgangsmåten i denne artikkelen for å hente organisasjonens miljødata fra datamodellen Sustainability Manager til Dataverse IngestedRawData sjøhus i Fabric-arbeidsområdet ved hjelp av Azure Synapse Link.
Forutsetning
- Distribuer funksjonen for miljødata og innsikt i Fabric-arbeidsområdet.
- Sørg for at det Microsoft Sustainability Manager er installert og konfigurert i miljøet ditt Dataverse .
- Sørg for at du har Dataverse systemet administrator sikkerhetsrolle.
- Distribuer funksjonen for miljødata og innsikt i Fabric-arbeidsområdet.
- Kontroller at du har en Azure Data Lake Storage Gen2-lagringskonto.
- Sørg for at du har Dataverse systemet administrator sikkerhetsrolle.
- Sørg for at du har en Azure Data Lake Storage Gen2-konto og rolletilgang for eier og Storage Blob Data-bidragsyter. Lagringskontoen må aktivere hierarkisk navneområde for både første konfigurasjon og deltasynkronisering. Tillat tilgang med nøkkel for lagringskonto er bare nødvendig for den første konfigurasjonen.
Trinn 1: Konfigurer Azure Synapse Link
I denne trinn konfigurerer du et Azure Synapse Link for Sustainability Manager-miljøet som du vil hente data fra til arbeidsområdet Bærekraftsdata i Fabric.
Åpne portalen Power Apps . Øverst til høyre Velg miljøet der Dataverse Sustainability Manager er installert.
Velg Azure Synapse Link fra den venstre ruten, og Velg deretter opprette en kobling for ny. Hvis det ikke allerede vises, Velg Mer, Velg Oppdag alle , Velgdatabehandling , og deretter Velg Azure Synapse Link.
La Koble til Azure Synapse Analytics-arbeidsområdet forbli umerket. Du kjører integrasjons- og transformasjonsskriptene på Fabric, ikke Synapse.
Angi lagringskontoen din og abonnementsdetaljer, og velg Neste. Du kan bare velge en lagringskonto som ligger på samme sted som miljøet ditt. Hvis for eksempel miljøet ditt er i USA, vest, må lagringskontoen din være i USA, vest eller USA, vest 2.
Velg alle Sustainability Manager-tabellene dine fra listen, og Velg Lagre. Du kan filtrere etter msdyn_ for å se de relevante tabellene.
En Azure Synapse Link til lagringskontoen din opprettes, og de valgte tabellene eksporteres til lagringskontoen. Du kan legge til eller fjerne tabellene i koblingen ved å opprette en kobling ved å gå tilbake til Azure Synapse Link, opprette en kobling du opprettet, og deretter velge Behandle tabeller.
Åpne Data Lake Storage Gen2-kontoen som ble oppgitt da du opprettet opprette en kobling i tidligere trinn. En ny beholder som starter med Dataverse opprettes i lagringskontoen din med alle de valgte tabellene eksportert i mappestruktur i CSV-format sammen med en model.json fil som inneholder skjemaet for alle tabellene. Dine Sustainability Manager-data er nå tilgjengelige i din egen lagringskonto.
Trinn 2: Koble Data Lake Storage-beholderen
I denne trinn opprette en kobling du Data Lake Storage-beholderen med Sustainability Manager-data til IngestedRawData sjøhus for den distribuerte funksjonaliteten ved hjelp av Fabric-snarveisfunksjonaliteten.
Åpne arbeidsområdet i Fabric der du implementerte Sustainability-løsningen. Velg løsningen fra listevisningen for å åpne løsningen. Velg ESG-dataegenskapsfunksjonaliteten (Environmental, Social, and Governance) fra listevisningen Administrer distribuerte funksjoner for å komme til siden Administrert funksjonalitet.
Fra siden for administrert funksjonalitet for ESG-dataeiendom Velg du IngestedRawData sjøhus.
Velg Ny snarvei fra ellipsemenyen under Filer. I dialogboksen Ny snarvei Velg du Gen2-flisen Azure Data Lake Storage , og deretter oppgir du følgende tilkoblingsdetaljer for å koble til Data Lake Storage-beholderen som har de eksporterte Sustainability Manager-dataene.
- URL-adresse: Gå til Data Lake Storage-kontoen. På venstre side Velg du Endepunkt. Kopier deretter sluttpunktet for Data Lake Storage og lim det inn i URL-feltet .
- Tilkobling: Velg Opprett ny tilkobling.
- Godkjenningstype: Velg Organisasjonskonto, logg på Data Lake Storage-kontoen, og deretter Velg Neste.
For snarveisnavnet, skriv inn MSMData, angi underbanen som beholdernavnet som inneholder Sustainability Manager-dataene, med / som prefiks, og velg deretter Opprett. Sustainability Manager-dataene er vellykket integrert med datasjøen under Filer.
Trinn 3: Transformer data
Når Sustainability Manager dataene er integrert i IngestedRawData sjøhus, må du forene og harmonisere dataene ved å transformere dem til ESG-datamodellen]-skjemaet. Funksjonalitetsdistribusjonen opprettet ProcessedESGData sjøhus i arbeidsområdet for lagring av de harmoniserte dataene.
ESG-datamodellskjemaet kobler ESG-dataenhetene til andre dataenheter som beskriver andre funksjonsområder i et selskap, for eksempel HR, IT eller finansproduksjon.
For å transformere Sustainability Manager-data til ESG-datamodellskjemaet gir funksjonen notatblokker og datasamlebånd som bruker forhåndsbygde transformasjons- og orkestreringsteknologier ved hjelp av biblioteker som er lagret i ConfigAndDemoData sjøhus i arbeidsområdet.
Aktiver den første trinn og kjør det TransformMSMDataToProcessedESGData_DTPL datasamlebåndet for å laste inn og transformere Sustainability Manager-dataene til ESG-datamodellskjemaet i ProcessedESGData sjøhus.
Datasamlebåndet kjører disse trinnene:
Dette trinnet er deaktivert som standard og må aktiveres før du kjører pipelinen. Den laster inn de koblede Sustainability Manager-dataene som sjøhus tabeller. Transformasjonsbibliotekene krever at kildedataene er i deltatabellformat. Den LoadMSMDataToLakehouseTables_INTB notatblokken laster inn de koblede Sustainability Manager-dataene til sjøhus-tabellene. Når denne notatblokken er utført, kan du validere dataene i tabellene IngestedRawData sjøhus.
Transformasjonen av Sustainability Manager-dataene til ESG-datamodellskjemaet er en to-trinns prosess:
- Først transformerer den TransformMSMDataToProcessedESGData_INTB notatblokken Microsoft Sustainability Manager dataene til de mellomliggende importtabellene for rådata.
- Deretter transformerer TransformRawImportESGDataToProcessedESGData_INTB-notatblokken dataene fra importtabeller for rådata til ESG-datamodellskjemaet .
