Mata in data med Azure Synapse Link
Följ stegen i den här artikeln för att hämta organisationens miljödata från Sustainability Manager datamodellen till Dataverse IngestedRawData sjöhus på din Fabric-arbetsyta med hjälp av Azure Synapse Link.
Förutsättningar
- Distribuera funktionen Miljödata och insikter i arbetsytan Fabric.
- Se till att det Microsoft Sustainability Manager är installerat och konfigurerat i din Dataverse miljö.
- Se till att du har systemet Administratör säkerhetsroll Dataverse .
- Distribuera funktionen Miljödata och insikter på din Fabric-arbetsyta.
- Kontrollera att du har ett Azure Data Lake Storage Gen2-lagringskonto.
- Se till att du har systemet Administratör säkerhetsroll Dataverse .
- Se till att du har ett Azure Data Lake Storage Gen2-konto och deltagare rollåtkomst för ägare och Storage Blob Data. Ditt lagringskonto måste aktivera hierarkisk namnrymd för både den första konfigurationen och deltasynkronisering. Att tillåta åtkomst med lagringskontonyckel krävs endast vid den första konfigurationen.
Steg 1: Konfigurera Azure Synapse Link
I det här steg konfigurerar du en Azure Synapse Link för Sustainability Manager miljön som du vill hämta data från till arbetsytan för hållbarhetsdata i Fabric.
Öppna portalen Power Apps . Längst upp till höger Välj din Dataverse miljö där Sustainability Manager är installerat.
Välji Azure Synapse Link den vänstra rutan och sedan länken VäljNytt . Om den inte redan visas Välj Mer, Välj Upptäck alla , VäljDatahantering och sedan Välj Azure Synapse Link.
Markera inte alternativet Anslut till din Azure Synapse Analytics-arbetsyta. Du kör integrerings- och transformationsskripten på Fabric, inte Synapse.
Ange ditt lagringskonto och din prenumerationsinformation och välj Nästa. Du kan bara välja ett lagringskonto som finns på samma plats som din miljö. Om din miljö finns i exempelvis västra USA bör ditt lagringskonto finnas i västra USA eller västra USA2.
Välj alla dina Sustainability Manager-tabeller från listan och Välj Spara. Du kan filtrera efter msdyn_ för att se de relevanta tabellerna.
En Azure Synapse Link till ditt lagringskonto skapas, och de valda tabellerna exporteras till lagringskontot. Du kan lägga till eller ta bort tabellerna i länken genom att gå tillbaka till Azure Synapse Link, markera länken som du skapade och sedan välja Hantera tabeller.
Öppna ditt Data Lake Storage Gen2-konto som du fick när du skapade länken i föregående steg. En ny container som börjar med Dataverse skapas i ditt lagringskonto med alla valda tabeller exporterade i mappstrukturen i CSV-format tillsammans med en model.json fil som innehåller schemat för alla tabeller. Dina Sustainability Manager-data finns nu tillgängliga i ditt eget lagringskonto.
Steg 2: Länka Data Lake Storage-behållaren
I det här steg länkar du Data Lake Storage-containern med Sustainability Manager data till IngestedRawData sjöhus för den distribuerade funktionen med hjälp av kortkommandofunktionen för infrastrukturresurser.
Öppna arbetsytan i Fabric där du distribuerade lösningen Sustainability. Öppna lösningen genom att välja den i listvyn. Välj dataegendomsfunktionen för miljö, socialt ansvar och styrning (ESG) i listvyn Hantera distribuerade funktioner för att nå sidan för hanterad kapacitet.
På sidan för hanterad funktion för ESG-dataegendom Välj du IngestedRawData sjöhus.
Välj Ny genväg i ellipsmenyn Filer. I dialogrutan Ny genväg Välj Azure Data Lake Storage du panelen Gen2 och anger sedan följande anslutningsinformation för att ansluta till Data Lake Storage-behållaren som har exporterade Sustainability Manager data.
- URL: Gå till lagringskontot Data Lake. På vänster sida, Välj Slutpunkt. Kopiera sedan slutpunkten för Data Lake Storage och klistra in den i URL-fältet .
- Anslutning: VäljSkapa ny anslutning.
- Autentiseringstyp: Välj Organisationskonto, logga in på ditt Data Lake Storage-konto och sedan Välj Nästa.
För genvägsnamnet anger du MSMData, ställer in undersökvägen som behållarnamnet som innehåller Sustainability Manager-data med prefixet / och väljer sedan Skapa. Sustainability Manager-data har framgångsrikt integrerats med datasjön under Filer.
Steg 3: Transformera data
När Sustainability Manager data har integrerats i IngestedRawData sjöhus måste du förena och harmonisera data genom att omvandla dem till ESG-datamodellen]-schemat. Funktionsdistributionen skapade ProcessedESGData sjöhus på arbetsytan för att lagra harmoniserade data.
Schemat för ESG-datamodellen länkar ESG-dataentiteterna till andra dataentiteter som beskriver andra funktionella områden i ett företag, till exempel HR, IT eller ekonomiproduktion.
För att transformera Sustainability Manager data till ESG-datamodellschemat tillhandahåller funktionen notebook-filer och datapipelines som använder fördefinierade transformerings- och orkestreringstekniker med hjälp av bibliotek som lagras i ConfigAndDemoData sjöhus på din arbetsyta.
Aktivera den första steg och kör den TransformMSMDataToProcessedESGData_DTPL datapipelinen för att läsa in och transformera Sustainability Manager data till ESG-datamodellschemat i ProcessedESGData sjöhus.
Datapipelinen kör följande steg:
Det här steget inaktiveras som standard och måste aktiveras innan pipelinen körs. Den läser in länkade Sustainability Manager data som sjöhus tabeller. Transformationsbiblioteken kräver att källdatan är i deltatabellformat. Den LoadMSMDataToLakehouseTables_INTB notebook-filen läser in länkade Sustainability Manager data till sjöhus tabellerna. När den här notebook-filen har körts kan du verifiera data i tabellerna IngestedRawData sjöhus.
Omvandlingen av Sustainability Manager data till ESG-datamodellschemat är en process i två steg:
- Först transformerar den TransformMSMDataToProcessedESGData_INTB notebook-filen data till Microsoft Sustainability Manager de mellanliggande importtabellerna för rådata.
- Sedan transformerar TransformRawImportESGDataToProcessedESGData_INTB notebook-filen data från importtabeller för rådata till ESG-datamodellschemat .
