Dataimport
I en miljö där redovisning och rapportering av hållbarhet, dataomvandling och import spelar vitala roller för att säkerställa korrekta, tillförlitliga och omfattande insikter om hållbarhet. Organisationer ställs emellertid ofta inför tekniska och affärsrelaterade utmaningar när det gäller att effektivt hantera och dra nytta av data för rapporteringssyften.
Några av de viktigaste utmaningarna är:
Datagranularitet och -komplaxitet: Att hantera olika typer av hållbarhetsdata från flera källor och kategorier är nödvändigt för att skapa en fullödig och detaljerad bild av hur miljöeffektiviteten fortskrider och omfattar effektiviteten inom kol, vatten och avfall.
Datakvaliteten och -enhetlighet: Korrekta, tillförlitliga och konsekventa data i hela organisationens hållbarhetsresa är viktiga för korrekt rapportering och regelefterlevnad.
Skalbarhet och prestanda: Att hantera och bearbeta stora datauppsättningar effektivt samtidigt som optimala prestanda upprätthålls är vitalt för organisationer på kort såväl som lång sikt.
Datatillgänglighet: Data kan ha olika format eller kräva manuell insamling.
Dessutom ställs företag inför allt större krav från intressenter, investerare, kunder och myndigheter på att avslöja omfattande information om sin hållbarhetsverksamhet. För att uppfylla dessa förväntningar krävs effektiva dataomvandlings- och inmatningsprocesser.
Detta avsnitt fokuserar på de senaste förbättringarna och funktionerna i inmatningsprocessen, som bygger på befintliga funktioner i Microsoft Sustainability Manager. De nya funktionerna tillhandahåller en smidig och avancerad plattform för hantering av processerna för dataomvandling och datainmatning. Detta ger ett förenklat användargränssnitt, flera metoder för datainmatning, mallar och mappningsfunktioner.
Användarupplevelse av dataimport
Ett förenklat och guidat användargränssnitt är en nödvändig funktion för att organisationer ska kunna utföra dataomvandlingen och inmatningen av deras miljödata.
Med datainmatningsupplevelsen i Sustainability Manager hålls datamodellen i framkant i samband med inmatning i syfte att begränsa antalet användarfel. Användarna kan dra nytta av flexibiliteten och de olika inmatningsmetoderna utifrån krav och utformningsbeaktanden. Dessutom kan data matas in i flera entiteter och kategorier genom en enda import med samma inmatning. Dessa inmatningsmekanismer standardiseras inom såväl kol, vatten och avfall.
En viktig aspekt av datainmatningsprocessen är att inaktivera dataomvandling, datamappning och dataimport. Detta hjälper också till att minska riskerna för mänskliga fel i fråga om att extrahera, omvandla och läsa in data.
Under dataanslutningsprocessen kan organisationsanvändarna använda verktygsmarginalllisten för dataomvandling i syfte att:
Konfigurera datauppsättningar som ska importeras.
Verifiera datauppsättningar med hjälp av checklistor. Checklistor säkerställer en lyckad dataimport och tar upp problem som berör obligatoriska datakolumner, datatypsmatchningar, ifyllnad av värden för alternativuppsättning och sökningar efter referensdata.
Inbyggda inmatningsmetoder och beaktanden i samband med utformning
Sustainability Manager tillhandahåller fyra metoder för inmatning, beroende på:
- Datatyp
- Källa
- Dataomvandlingsbehov
- Användarerfarenhetsnivå
- Importfrekvens
Du kan använda dessa olika metoder med följande överväganden.
| Metod och beskrivning | Utformningsbeaktanden | Använd när |
|---|---|---|
| Excel-mallar finns inbyggda i Microsoft Sustainability Manager, och användarna kan hämta, förbereda sina data och importera dem till specifika entiteter. | Excel-mallar uppdateras regelbundet. Vi rekommenderar att du hämtar de senaste Excel-mallarna vid varje import.
Eftersom Excel-mallarna följer datamodellens namnkonvention behöver de inte mappa data till modellen. Excel-mallar utgör den enklaste formen av dataimport. De passar mindre datauppsättningar som en Excel-fil kan stödja, samt för att förbereda systemet initialt. Excel-mallar innehåller fördefinierade entitetuppsättningar som gör det möjligt att importera data. |
Excel-mallar används bäst när dataförberedelse/-omvandling utförs utanför Sustainability Manager och datan är klar för direktimport.
Exempel: Kaffetillverkaren Contoso coffee kan använda Excel-mallarna för att konfigurera anläggningarna med hjälp av mallen Referensdata, och sedan fortsätta med att konfigurera sin koldioxidaktivitet och sina förberäknade utsläppsdata med hjälp av datamallarna Aktivitet och Utsläppsdata. De kan sedan utföra en enartikelsimport med alla tre typer av data med en enda inmatning. |
| Vägledd Power Query-upplevelse är en datamappningscentrerad upplevelse, där slutanvändarna får en kundvagnsupplevelse för att minimera inmatningsfel. | Power Query innehåller en omfattande metod för dataomvandling och -inmatning, vilket gör det effektivt för hantering av olika datakällor.
Power Query används med fördel för datakällor med inbyggda tillgängliga anslutningsprogram i Microsoft Sustainability Manager, vilket förenklar dataimportprocessen. Den vägledda Power Query-upplevelsen ger flexibilitet och detaljerad vägledning genom hela inmatningsprocessen, vilket gör att användarna kan lägga till och ta bort entiteter efter behov. |
Använd Power Query när du behöver: – importera data för flera entiteter från olika källor. – har inbyggda Power Query-anslutningsprogram tillgängliga i Microsoft Sustainability Manager. – ofta kräver dataimport och -uppdatering – behöver dataomvandling under inmatningsprocessen. - föredrar vägledd upplevelse med flexibilitet för entitetsmanipulering och datamappning. – olika källtyper måste hanteras med dataomvandling innan du mappar till datamodellen. Exempel: Kaffetillverkaren Contoso Coffee vill importera utsläppsdata från leverantörsnätet ERP och leverantörstillhandahållna data i Azure Synapse. Contoso kan använda den guidade Power Query-upplevelsen för att omvandla och mappa med hjälp av den detaljerade vägledningen i redigeraren. |
| Partner-anslutningsprogram – är en katalog med anslutningsprogram för att importera data från partnerlösningar. | Sustainability Manager innehåller anslutningsprogram för att importera data från partnerlösningar.
Plattformen erbjuder en katalog med förskapade och anpassade anslutningsprogram från aktiva dataleverantörer. En viktig aspekt av att importera data med hjälp av partneranslutningsprogram är att datamappning och -omvandling ingår i anslutningsprogrammet. De måste inte utföras under importprocessen. |
Använd funktionen när du behöver importera data från en partnerlösning och motsvarande anslutningsprogram finns i katalogen.
Exempel: Contoso Coffee använder Arcadias verktygsmolnlösning för att samla in inköpta elektricitets- och naturgasdata för sina anläggningar. De använder Arcakällan-anslutningsprogrammet för att importera köpta elektricitetsdata till Sustainability Manager. Detta anslutningsprogram gör att de kan beräkna sina utsläpp med Omfattning 2 för alla sina globala anläggningar. |
| Manuell import av data till Sustainability Manager | Microsoft Sustainability Manager tillhandahåller två metoder för att manuellt importera data.
Den första metoden tillåter inmatning av enskilda poster, vilket är praktiskt för att importera konfigurationsdata, t.ex. referensdata. Den andra metoden tillåter massimport av aktivitetsposter och referensdataposter. För omfattning 3, kategori 8 och kategori 13 måste du välja vilken dataunderkategori som ska ha åtkomst till alternativen för massuppladdning. När du uppdaterar aktivitetsdataposter måste du ta bort tidigare importerade data och återimportera all data. |
Överväg att använda alternativen för manuell dataimport i Sustainability Manager när du behöver importera enskilda poster med aktivitets-, vatten- eller avfallsdata. Du kan även använda dessa alternativ om du vill importera referensdata eller om du har en stor mängd aktivitetsdata som ska importeras samtidigt. Om du har särskilda dataformat för massimport, till exempel Excel, CSV eller XML, är alternativet för manuell massuppladdning det bästa alternativet. En hållbarhetsspecialist som ställer in organisationsdata går exempelvis till Inställningar > Företagsprofil > Allmänt för att manuellt definiera attributen för organisationen. |
I följande tabell sammanfattas utformningsaspekter för organisationer, samtidigt som dataimportprocessen för desamma utformas. Vi rekommenderar att du noggrant överväger för- och nackdelarna för respektive inmatningmetod, samt deras utformning.
| inmatningsmetod | Excel-mallar | Vägledd Power Query-upplevelse | Anslutningsprogram för partner | Manuell inmatning |
|---|---|---|---|---|
| Typiska användarpersonas | Affärspersonas | Affärs-/tekniska personas | Tekniska personas | Affärspersonas |
| Kan schemaläggas? | ✗ | ✓ | ✓ | ✗ |
| Datamängdens volym | Mass | Mass | Mass | Enskild, mass |
| Tillåter dataomvandling? | ✗ | ✓ | ✗ | ✗ |
| Tillhandahåller stegvis uppdatering? | ✗ | ✓ | ✓ | ✗ |
| Dataåsidosättanden i samband med import? | ✗ | ✓ | ✗ | ✗ |
| Kan importera flera entiteter? | ✓ | ✓ | ✗* | ✗ |
| Tillhandahåller felshantering för inmatning? | ✓ | ✓ | ✓ | N/A |
Kommentar
Att importera flera entiteter med partneranslutningsprogrammen i en enda inmatning ligger i produktens färdplan.
Mer information finns i Översikt över dataimporten i Microsoft Sustainability Manager.
Sammanfattningsvis är följande beaktanden viktiga när du importerar data till Microsoft Sustainability Manager:
Börja med den enklare Excel-mallmetoden för inmatning. Utifrån datakomplexiteten och förståelsen av datamodellen går du vidare till att skapa kontinuerliga dataimporter med hjälp av den vägledda Power Query-upplevelsen.
Tänk på följande i samband med den vägledda Power Query-inmatningsupplevelsen:
- Använd Power Query-funktionerna för att utföra dataomvandlingarna.
- Använd dataomvandlingsverktygen och checklistan för att granska datatabellerna och dessas respektive datatyper.
- Använd automappningsfunktionen när du mappar källdatan.
Schemalägg tidsluckor och regler för uppdatering så att nödvändiga data kan importeras kontinuerligt när en anslutning skapas och verifieras.
Komplett och stegvis uppdatering av data
Att regelbundet importera data från datakällor krävs för att organisationerna ska kunna beräkna sina senaste hållbarhetsdata i rapporteringssyfte. Organisationer kan hämta data från sina källsystem i två lägen.
Fullständig datauppdatering: Importera en fullständig kopia av källsystemdatan till Microsoft Sustainability Manager-programmet.
Stegvis datauppdatering: Hämta och importera endast de poster från källystemen som uppdaterats eller skapats sedan senaste uppdatering.
Stegvis datauppdatering gör det möjligt för organisationer att mata in nya data när dessa är tillgängliga för respektive datauppdatering. Organisationer kan också välja en fullständig uppdatering om data måste uppdateras helt under respektive fråga. Denna funktion kan endast användas för Power Query-baserad import.
För att denna inbyggda funktion ska kunna användas måste uppdateringspolicyer skapas när du skapar anslutningen till datakällorna. Microsoft Sustainability Manager innehåller denna funktion för Power Query-baserad importmetod. Under processen med skapa en anslutning kan användare definiera schema och frekvens för att köra dataimportjobben och välja alternativet att ta bort tidigare importerade data vid behov. Denna åtgärd gör det möjligt att schemalägga enb stegvis uppdatering.
Fullständig datauppdatering rekommenderas i följande situationer:
När källsystemdatamodellen ändras måste ändringarna reflekteras i programmet för dataomvandlingar eller mappning.
När källdatan har ändrats markant och den stegvisa uppdateringen inte är tillräcklig för att registrera ändringarna.
När källsystemets affärslogik har ändrats och befintliga data behöver beräknas om.
När datakvaliteten eller dataintegriteten har drababts av fel, skador eller illvilliga angrepp.
Stegvis datauppdatering rekommenderas i följande situationer:
När organisationer kräver massimport av data från flera datakällor
När organisationer behöver uppdatera data vid rätt tidpunkt baserat på specifika tidslinjer
När källsystemen tillhandahåller tidigare, kumulativa data och organisationer måste importera nyligen tillgängliga data (insert eller upsert) efter den första datainläsningen
Om till exempel Sustainability Manager matar in data från Excel-filer i ett SharePoint-dokumentbibliotek som har uppdaterats av leverantörerna måste den enligt uppdateringspolicyn regelbundet använda de senaste uppgifterna.
Schemaläggningen på dataanslutningsnivå gör det samtidigt enkelt att utforma ett schema för dataimport. Det löser inte problemet med att bara hämta deltadata från olika källsystem. Med den inkrementella uppdateringsprocessen kan dataadministratörer konfigurera detaljerade regler för att endast hämta inkrementella data. Processen kan tillhandahålla extra filter, regler och tidstämplar på respektive frågenivå i en dataanslutning.
Om du vill lära dig mer om inkrementell uppdatering går du till Inkrementell datauppdatering i Microsoft Sustainability Manager
Nätverksanslutning till datakällor
När dataimportstrategier utformas ställs organisationer ofta inför utmaningen att säkert och effektivt kunna ansluta till fjärranslutna datakällor. Dessa fjärranslutna datakällor kan finnas i molnet eller lokalt. Olika säkerhetsstandarder och mått som organisationer använder för att skydda sina dataresurser gör att den här utmaningen ytterligare sammansätts. Nätverkskomponenterna kräver därför att du noggrant överväger olika alternativ för att säkerställa datasäkerheten och datatillförlitligheten.
Detta avsnitt handlar om två metoder för att ansluta till fjärranslutna datakällor. Dessa datakällor kan finnas i Azure Cloud i ett virtuellt nätverk, eller också kan de finnas på en lokal plats. I syfte att ansluta från Sustainability Manager till Azure Data Services inom ett virtuellt nätverk kan organisationer använda det virtuella nätverkets datagateway. Om du vill ansluta till lokala datakällor kan du använda den lokala datagatewayen.
I följande tabell finns några viktiga nätverksavsnitt och utformningsaspekter som du bör tänka på när du importerar data från en fjärrkälla som finns i en lokal infrastruktur:
| Ämnesnamn | Utformningsbeaktande |
|---|---|
| Virtuell nätverksdatagateway | Använd en datagateway i ett virtuellt nätverk för att ansluta till datakällor som finns i Azure och som säkrats av ett virtuellt nätverk. Denna metod kan vara användbar när datakällan inte är allmänt tillgänglig.
Om du vill lära dig hur du konfigurerar en gateway för virtuella nätverksdata går du till Använda en datagateway och datakällor i ett virtuell nätverk |
| Lokal datagateway | Använd lokala gateways som en säker brygga mellan lokal källor för hållbarhetsdata och Sustainability Manager. Du behöver hämta. installera och konfigurera den lokala datagatewayen.
Mer information finns i Vad är en lokal datagateway? |
| Autentisering av datakällor | Prioritera en kraftfull autentiseringsmekanism för åtkomst till hållbarhetsdata. Undvik att använda svaga autentiseringsuppgifter och överväg att använda Windows- eller OAuth-baserad autentisering för ökad säkerhet. |
| Lägg till IP-adresser för att skapa en lista över tillåtna från utgående lokal datakälla | Säkerställ din lista över tillåtna IP-adresser i syfte att möjliggöra utgående kommunikation mellan lokala resurser och Sustainability Manager.
Om du vill granska IP-adressintervallen för listan över tillåtna går du till Utgående IP-adresser för hanterade anslutningsprogram |
| Resultat | Optimera frågor för att minimera data som överförs via nätverket. Optimerade frågor minskar svarstiderna, ökar prestandan och optimerar nätverksresurserna. |
| Övervakning och granskning | Förhindra säkerhetsbrott genom att implementera övervakning och loggning för gateways och genomföra regelbundna granskningar med organisationens säkerhetsintressenter.
Mer information om hur du samlar in loggar från datagatewayen finns i Felsöka lokal datagateway |
Sammanfattningsvis är det vitalt att fatta säkra och tillförlitliga beslut om nätverksdesign för att säkerställa en robust importmekanism för fjärranslutna datakällor. Du bör bland annat utföra de åtgärder som krävs för att:
- Installera gateways för fjärranslutna och lokala datakällor, samt virtuellt nätverkssäkrade datakällor somhar Azure som värd.
- Använda starka autentiseringsmekanismer.
- I listan över tillåtna lägger du till utgående IP-adresser om du vill möjliggör kommunikation från lokala dataplatser.
- Minimera data som överförs via nätverket.
- Utför regelbundna säkerhetsgranskningar.
Felhantering
Felhanteringen under dataimporten spelar en vital roll för att säkerställa att dina data importeras korrekt, samt att instrumentpanelerna anger den senaste informationen för hållbarhetsrapporter och analyser. Med Sustainability Manager kan användarna granska och korrigera fel i dataimporter. De här felrapporterna finns nu tillgängliga för alla tre importtyper, mallar, vägledda Power Query-flöden och partnerupplevelser.
Mer information finns i Felhantering för dataimport i Microsoft Sustainability Manager