Gegevensimport
In de wereld van administratie en rapportage van duurzaamheid spelen gegevenstransformatie en -import een cruciale rol bij het garanderen van nauwkeurige, betrouwbare en uitgebreide duurzaamheidsinzichten. Organisaties worden echter vaak geconfronteerd met technische en zakelijke uitdagingen bij het effectief beheren en benutten van duurzaamheidsgegevens voor rapportagedoeleinden.
Tot enkele van de belangrijkste uitdagingen behoren:
Gedetailleerdheid en complexiteit van gegevens: het beheren van diverse duurzaamheidsgegevens uit meerdere bronnen en categorieën is essentieel voor het creëren van een alomvattend en gedetailleerd beeld van de vooruitgang op het gebied van milieu-efficiëntie, zoals koolstof-, water- en afvalefficiëntie.
Gegevenskwaliteit en -consistentie: nauwkeurige, betrouwbare en consistente gegevens gedurende de duurzaamheidsreis van een organisatie zijn belangrijk voor nauwkeurige rapportage en naleving.
Schaalbaarheid en prestaties: het efficiënt afhandelen en verwerken van grote gegevenssets met behoud van optimale prestaties is cruciaal voor organisaties op de korte en lange termijn.
Gegevensbeschikbaarheid: gegevens kunnen in verschillende indelingen voorkomen of moeten handmatig worden vastgelegd.
Bovendien worden bedrijven geconfronteerd met toenemende druk van belanghebbenden, investeerders, klanten en regelgevende instanties om uitgebreide duurzaamheidsinformatie openbaar te maken. Om aan deze verwachtingen te voldoen, zijn efficiënte gegevenstransformatie- en opnameprocessen vereist.
In dit gedeelte wordt aandacht besteed aan de nieuwste verbeteringen en mogelijkheden van het opnameproces die voortbouwen op de bestaande mogelijkheden van Microsoft Sustainability Manager. De nieuwe mogelijkheden bieden een gestroomlijnd en geavanceerd platform voor het beheer van het proces voor transformatie en opname van gegevens. Het biedt een vereenvoudigde gebruikersinterface, meerdere methoden voor gegevensopname, sjablonen en toewijzingsmogelijkheden.
Gebruikerservaring van gegevensimport
Een vereenvoudigde en begeleide gebruikersinterface is een mogelijkheid die hard nodig is voor organisaties om de gegevenstransformatie en opname van hun omgevingsgegevens met succes uit te voeren.
De gegevensopname-ervaring van Sustainability Manager houdt het gegevensmodel op de voorgrond tijdens de opname-ervaring om gebruikersfouten te beperken. Gebruikers kunnen profiteren van de flexibiliteit en meerdere opnamemethoden op basis van hun vereisten en ontwerpoverwegingen. Bovendien kunnen gegevens via meerdere entiteiten en categorieën worden opgenomen via een eenmalige import met dezelfde opname. Deze opnamemechanismen zijn gestandaardiseerd voor koolstof, water en afval.
Een belangrijk aspect van het gegevensopnameproces is de ontkoppeling van gegevenstransformatie, gegevenstoewijzing en gegevensimport. Deze ontkoppeling helpt ook bij het beperken van de risico's van menselijke fouten bij het extraheren, transformeren en laden van de gegevens.
Tijdens het gegevensverbindingsproces kunnen organisatiegebruikers de zijbalk voor gegevenstransformatietools gebruiken om het volgende te doen:
Gegevenssets configureren die moeten worden geïmporteerd.
Controlelijsten gebruiken om gegevenssets te valideren. Controlelijsten zorgen voor een succesvolle gegevensimport en pakken problemen aan met betrekking tot verplichte gegevenskolommen, niet-overeenkomende gegevenstypen, het invullen van optiesetwaarden en het opzoeken van referentiegegevens.
Ingebouwde opnamemethoden en ontwerpoverwegingen
Sustainability Manager biedt vier methoden voor opname, afhankelijk van:
- Gegevenstype
- Source
- Gegevenstransformatiebehoeften
- Niveau gebruikerservaring
- Importfrequentie
U kunt deze verschillende methoden gebruiken met de volgende overwegingen.
| Methode en beschrijving | Ontwerpoverwegingen | Wanneer gebruiken |
|---|---|---|
| Excel-sjablonen zijn ingebouwd in Microsoft Sustainability Manager en gebruikers kunnen hun gegevens downloaden, voorbereiden en importeren in specifieke entiteiten. | Excel-sjablonen worden periodiek vernieuwd. Wij raden u aan bij elke import de nieuwste Excel-sjablonen te downloaden.
Omdat de Excel-sjablonen de naamgevingsconventie voor gegevensmodellen volgen, is er geen gegevenstoewijzing voor het model vereist. Excel-sjablonen vertegenwoordigen de eenvoudigste vorm van gegevensimport. Ze zijn geschikt voor kleinere gegevenssets die een Excel-bestand kan ondersteunen en voor de initiële systeemvoorbereiding. Excel-sjablonen bevatten een vooraf gedefinieerde set entiteiten om gegevensimport mogelijk te maken. |
Excel-sjablonen kunnen het beste worden gebruikt wanneer de gegevensvoorbereiding/-transformatie buiten Sustainability Manager plaatsvindt en de gegevens klaar zijn voor directe import.
Voorbeeld: Contoso Coffee, een koffiefabrikant kan de Excel-sjablonen gebruiken om de faciliteiten in te stellen met behulp van de referentiegegevenssjabloon en vervolgens doorgaan met het instellen van de CO2-activiteit en vooraf berekende uitstootgegevens met behulp van de gegevenssjablonen Activiteit en Uitstoot. Vervolgens kunnen ze alle drie de typen gegevens in één item importeren met één enkele opname. |
| Door Power Query begeleide ervaring is een op gegevenstoewijzing gebaseerde ervaring die de eindgebruikers begeleidt met een winkelwagenervaring om opnamefouten te minimaliseren. | Power Query biedt een uitgebreide benadering van gegevenstransformatie en -opname, waardoor het efficiënt kan omgaan met verschillende gegevensbronnen.
Power Query is handig voor gegevensbronnen waarvoor ingebouwde connectoren beschikbaar zijn in Microsoft Sustainability Manager, waardoor het gegevensimportproces wordt gestroomlijnd. De door Power Query begeleide ervaring biedt flexibiliteit en gedetailleerde begeleiding tijdens het hele opnameproces, waardoor gebruikers naar behoefte entiteiten kunnen toevoegen en verwijderen. |
Gebruik Power Query wanneer u: - gegevens moet importeren voor meerdere entiteiten uit verschillende bronnen. - ingebouwde Power Query-connectoren beschikbaar moet hebben in Microsoft Sustainability Manager. - frequente import en vernieuwing van gegevens nodig hebt - gegevenstransformatie nodig hebt tijdens het opnameproces. - de voorkeur geeft aan begeleide ervaring met flexibiliteit voor entiteitsmanipulatie en gegevenstoewijzing. - verschillende brontypen moet verwerken bij gegevenstransformatie voordat ze aan het gegevensmodel worden toegewezen. Voorbeeld: Contoso Coffee, een koffiefabrikant, wil de uitstootgegevens importeren uit het ERP-systeem van de toeleveringsketen en de door de leverancier verstrekte gegevens in Azure Synapse. Contoso kan de door Power Query begeleide ervaring gebruiken om te transformeren en toe te wijzen met behulp van de gedetailleerde richtlijnen in de editor. |
| Partnerconnectoren – zijn een catalogus met connectoren om gegevens uit partneroplossingen te importeren. | Sustainability Manager bevat connectoren om gegevens uit partneroplossingen te importeren.
Het platform biedt een catalogus van vooraf gebouwde en aangepaste connectoren van operationele gegevensproviders. Een belangrijk aspect van het importeren van gegevens met behulp van de partnerconnectors is dat de gegevenstoewijzing en -transformatie in de connector zijn opgenomen. Ze hoeven niet te worden uitgevoerd tijdens het importproces. |
Gebruik dit wanneer u gegevens uit een partneroplossing moet importeren en de bijbehorende connector aanwezig is in de catalogus.
Voorbeeld: Contoso Coffee gebruikt de cloudoplossing van Arcadia om ingekochte elektriciteits- en aardgasgegevens voor de faciliteiten vast te leggen. Ze gebruiken de Arcadia-connector om gegevens over ingekochte elektriciteit te importeren in Sustainability Manager. Met deze connector kunnen ze hun bereik 2-uitstoot voor al hun wereldwijde faciliteiten berekenen. |
| Handmatige import van gegevens in Sustainability Manager | Microsoft Sustainability Manager biedt twee methoden om gegevens handmatig te importeren.
Met de eerste methode kunnen individuele records worden ingevoerd, wat handig is voor het importeren van configuratiegegevens zoals referentiegegevens. Met de tweede methode is bulkimport van activiteitsrecords en referentiegegevensrecords mogelijk. Voor bereik 3, categorie 8 en categorie 13 moet u de gegevenssubcategorie selecteren om toegang te krijgen tot de bulkuploadopties. Als u activiteitsgegevensrecords bijwerkt, moet u eerder geïmporteerde gegevens verwijderen en alle gegevens opnieuw importeren. |
Overweeg om de handmatige gegevensimportopties in Sustainability Manager te gebruiken wanneer u individuele records van activiteits-, water- of afvalgegevens moet importeren. Gebruik deze opties bovendien als u referentiegegevens wilt importeren of als u een grote hoeveelheid activiteitsgegevens in bulk wilt importeren. Als u specifieke gegevensindelingen hebt voor bulkimport, zoals Excel, CSV of XML, is de optie voor handmatig uploaden in bulk de ideale keuze. Een duurzaamheidsspecialist die organisatiegegevens instelt, gaat bijvoorbeeld naar Instellingen > Bedrijfsprofiel > Algemeen om de kenmerken van de organisatie handmatig te definiëren. |
De volgende tabel geeft een overzicht van de ontwerpoverwegingen voor organisaties bij het ontwerpen van hun gegevensimportproces. We raden u aan zorgvuldig de voor- en nadelen van elke opnamemethode en de ontwerpafwegingen ervan te overwegen.
| Opnamemethode | Excel-sjablonen | Door Power Query begeleide ervaring | Partnerconnectors | Handmatige invoer |
|---|---|---|---|---|
| Typische gebruikerspersona's | Zakelijke persona´s | Zakelijke/technische persona´s | Technische persona´s | Zakelijke persona´s |
| Kan worden gepland? | ✗ | ✓ | ✓ | ✗ |
| Gegevenslaadvolume | Bulk | Bulk | Bulk | Enkel, bulk |
| Staat gegevenstransformatie toe? | ✗ | ✓ | ✗ | ✗ |
| Biedt incrementele vernieuwing? | ✗ | ✓ | ✓ | ✗ |
| Gegevensoverschrijvingen tijdens import? | ✗ | ✓ | ✗ | ✗ |
| Kan meerdere entiteiten importeren? | ✓ | ✓ | ✗* | ✗ |
| Biedt afhandeling van opnamefouten? | ✓ | ✓ | ✓ | N.v.t. |
Notitie
Het importeren van meerdere entiteiten met behulp van de partnerconnectoren in één opname staat in de productroadmap.
Raadpleeg voor meer informatie Overzicht van gegevensimport in Microsoft Sustainability Manager.
Samenvattend zijn de volgende overwegingen belangrijk bij het importeren van gegevens in Microsoft Sustainability Manager:
Begin met de eenvoudigere Excel-sjabloonmethode voor opname-ervaring. Gebaseerd op de gegevenscomplexiteit en het begrip van het gegevensmodel, gaat u verder met het maken van continue gegevensimporten met behulp van de door Power Query begeleide ervaring.
Houd tijdens de door Power Query begeleide opname-ervaring de volgende tips in gedachten:
- Gebruik de Power Query-mogelijkheden om de gegevenstransformaties uit te voeren.
- Gebruik de tools voor gegevenstransformatie en de controlelijst om de gegevenstabellen en de respectieve gegevenstypen ervan te bekijken.
- Gebruik de functie voor automatisch toewijzen tijdens het toewijzen van de brongegevens.
Plan de vernieuwingstijdvakken en -regels om de continue import van vereiste gegevens mogelijk te maken zodra een verbinding tot stand is gebracht en gevalideerd.
Volledige en incrementele vernieuwing van gegevens
Periodieke import van gegevens uit gegevensbronnen is een noodzaak voor organisaties om hun meest recente duurzaamheidsgegevens te berekenen voor rapportagedoeleinden. Organisaties kunnen op twee manieren gegevens uit hun bronsystemen halen.
Volledige gegevensvernieuwing: importeer een volledige kopie van de bronsysteemgegevens in de toepassing Microsoft Sustainability Manager.
Incrementele gegevensvernieuwing: hiermee kunt u alleen de bijgewerkte of nieuw gemaakte records ophalen en importeren uit de bronsystemen sinds de laatste vernieuwing.
Met incrementele gegevensvernieuwing kunnen organisaties nieuwe gegevens ophalen wanneer deze beschikbaar zijn voor elke gegevensvernieuwing. Organisaties kunnen ook kiezen voor volledige vernieuwing als gegevens tijdens elke query volledig moeten worden vernieuwd. Deze mogelijkheid is alleen beschikbaar voor op Power Query gebaseerde import.
Om van deze ingebouwde mogelijkheid te profiteren, maakt u een vernieuwingsbeleid bij het maken van de verbinding voor gegevensbronnen. Microsoft Sustainability Manager biedt deze mogelijkheid voor de op Power Query gebaseerde importmethode. Tijdens het proces van het maken van een verbinding kunnen gebruikers de planning en de frequentie definiëren voor het uitvoeren van de gegevensimporttaken en de optie selecteren om indien nodig eerder geïmporteerde gegevens te verwijderen. Deze actie biedt de mogelijkheid om een incrementele vernieuwing te plannen.
Volledige gegevensvernieuwing wordt aanbevolen voor de volgende situaties:
Wanneer het gegevensmodel van het bronsysteem wijzigingen ondergaat, moeten de wijzigingen worden weerspiegeld in de toepassing voor gegevenstransformaties of -toewijzing.
Wanneer de brongegevens aanzienlijk zijn gewijzigd en de incrementele vernieuwing niet voldoende is om de wijzigingen vast te leggen.
Wanneer de bedrijfslogica van het bronsysteem is gewijzigd en de bestaande gegevens opnieuw moeten worden berekend.
Wanneer de gegevenskwaliteit of de gegevensintegriteit is aangetast als gevolg van fouten, corruptie of kwaadwillige aanvallen.
Incrementele gegevensvernieuwing wordt aanbevolen voor de volgende situaties:
Wanneer organisaties bulkimport van gegevens uit meerdere gegevensbronnen vereisen
Wanneer organisaties tijdige vernieuwing van gegevens vereisen op basis van specifieke tijdlijnen
Wanneer de bronsystemen historische, cumulatieve gegevens leveren en organisaties nieuw beschikbare gegevens (insert of upsert) moeten importeren na het eerste laden van de gegevens
Als Sustainability Manager bijvoorbeeld gegevens uit Excel-bestanden opneemt in een SharePoint-documentbibliotheek, bijgewerkt door de leveranciers, is er een vernieuwingsbeleid nodig om de meest recente gegevens op periodieke basis te gebruiken.
Terwijl de planning op het niveau van de gegevensverbinding een manier biedt om de planning voor het importeren van gegevens te ontwerpen. Het lost het probleem van het ophalen van alleen de deltagegevens uit verschillende bronsystemen niet op. Met het incrementele vernieuwingsproces kunnen gegevensbeheerders gedetailleerde regels configureren voor het alleen ophalen van de incrementele gegevens. Het proces kan op elk queryniveau in een gegevensverbinding extra filters, regels en tijdstempels bieden.
Ga voor meer informatie over incrementele vernieuwing naar Incrementele gegevensvernieuwing in Microsoft Sustainability Manager
Netwerkconnectiviteit met gegevensbronnen
Tijdens het ontwerpen van strategieën voor het importeren van gegevens worden organisaties vaak geconfronteerd met de uitdaging om veilig en efficiënt verbinding te maken met externe gegevensbronnen. Deze externe gegevensbronnen kunnen zich in de cloud of on-premises bevinden. Verschillende beveiligingsstandaarden en -maatregelen die organisaties gebruiken om hun gegevens te beschermen, maken deze uitdaging nog groter. De netwerkonderdelen vereisen dus een zorgvuldige afweging van verschillende opties om de beveiliging en betrouwbaarheid van gegevens te garanderen.
In dit gedeelte worden twee methoden besproken om verbinding te maken met externe gegevensbronnen. Deze gegevens bronnen kunnen bestaan in Azure Cloud binnen een virtueel netwerk, of ze kunnen bestaan op een on-premises locatie. Om vanuit Sustainability Manager verbinding te maken met Azure Data Services binnen een virtueel netwerk kunnen organisaties de gegevensgateway van een virtueel netwerk gebruiken. Om verbinding te maken met on-premises gegevensbronnen, kunt u de on-premises gegevensgateway gebruiken.
De volgende tabel bevat een aantal belangrijke netwerkonderwerpen en ontwerpoverwegingen bij het importeren van gegevens van een externe bron die zich in een on-premises infrastructuur bevindt:
| Onderwerp | Ontwerpoverweging |
|---|---|
| Gegevensgateway in een virtueel netwerk | Gebruik een gegevensgateway voor een virtueel netwerk om verbinding te maken met gegevensbronnen die zich in Azure bevinden en worden beveiligd door een virtueel netwerk. Deze aanpak kan handig zijn als de gegevensbron niet openbaar toegankelijk is.
Ga voor meer informatie over het configureren van de gegevensgateway van een virtueel netwerk naar Gegevensgateway voor virtueel netwerk en gegevensbronnen gebruiken |
| On-premises gegevensgateway | Gebruik on-premises gateways als een veilige brug tussen de on-premises duurzaamheidsgegevensbronnen en Sustainability Manager. U moet de on-premises gegevensgateway downloaden, installeren en configureren.
Ga voor meer informatie naar Wat is een on-premises gegevensgateway? |
| Verificatie voor gegevensbronnen | Geef prioriteit aan een sterk verificatiemechanisme voor toegang tot duurzaamheidsgegevens. Vermijd het gebruik van zwakke referenties en overweeg het gebruik van op Windows of OAuth gebaseerde verificatie voor verbeterde beveiliging. |
| Voeg IP's toe aan de toelatingslijst van de uitgaande on-premises gegevensbron | Zorg ervoor dat de toelatingslijst met IP-adressen aanwezig is om uitgaande communicatie tussen on-premises bronnen en Sustainability Manager mogelijk te maken.
Ga naar Uitgaande IP-adressen van beheerde connectoren om de IP-adresbereiken voor de toelatingslijst te bekijken |
| Prestaties | Optimaliseer query´s om de gegevensoverdracht via het netwerk te minimaliseren. Geoptimaliseerde query´s verminderen de latentie, verhogen de prestaties en besparen netwerkbronnen. |
| Bewaking en controle | Voorkom inbreuken op de beveiliging door bewaking en logboekregistratie voor gateways te implementeren en periodieke beoordelingen uit te voeren met de beveiligingsbelanghebbenden van de organisatie.
Ga voor meer informatie over het verzamelen van logboeken van de gegevensgateway naar Problemen met de on-premises-gegevensgateway oplossen |
Samenvattend: het maken van veilige en betrouwbare netwerkontwerpkeuzes is van cruciaal belang om een robuust importmechanisme voor externe gegevensbronnen te garanderen. Deze omvatten het uitvoeren van de noodzakelijke stappen voor het volgende:
- Gateways installeren voor externe on-premises gegevensbronnen en met virtuele netwerken beveiligde, door Azure gehoste gegevensbronnen.
- Sterke verificatiemechanismen gebruiken.
- De uitgaande IP-adressen toevoegen aan de toelatingslijst om communicatie vanaf on-premises gegevenslocaties mogelijk te maken.
- De gegevensoverdracht via het netwerk minimaliseren.
- Regelmatig beveiligingscontroles uitvoeren.
Foutafhandeling
Foutafhandeling tijdens het importeren van gegevens speelt een cruciale rol om ervoor te zorgen dat uw gegevens correct worden geïmporteerd en dat dashboards de nieuwste informatie voor duurzaamheidsrapporten en -analyses tonen. Met Sustainability Manager kunnen gebruikers fouten in de gegevensimporten beoordelen en oplossen. Deze foutrapporten zijn nu beschikbaar voor alle drie de importtypen: sjablonen, begeleide Power Query-stroom en partnerervaring.
Ga naar Foutafhandeling voor gegevensimport in Microsoft Sustainability Manager voor meer informatie