Import dat
Ve světě účetnictví a vykazování udržitelnosti hraje transformace a import dat klíčovou roli pro zajištění přesných, spolehlivých a komplexních přehledů o udržitelnosti. Organizace však často čelí technickým a obchodním výzvám vyplývajícím z efektivní správy a využívání dat udržitelnosti pro účely výkaznictví.
Zde jsou některé z těchto výzev:
Granularita a složitost dat: Správa různorodých dat o udržitelnosti z různých zdrojů a kategorií je nezbytná pro vytvoření komplexního a podrobného obrazu pokroku v oblasti environmentální účinnosti, který zahrnuje uhlíkovou, vodní a odpadovou účinnost.
Kvalita a konzistence dat: Přesná, spolehlivá a konzistentní data na cestě udržitelnosti organizace jsou důležitá pro přesné vykazování a dodržování předpisů.
Škálovatelnost a výkon: Efektivní manipulace a zpracování velkých datových sad při zachování optimálního výkonu je pro organizace v blízkém i dlouhodobém horizontu zásadní.
Dostupnost dat: Data mohou být v různých formátech nebo mohou vyžadovat ruční zachycení.
Firmy navíc čelí rostoucímu tlaku ze strany účastníků, investorů, zákazníků a regulačních orgánů, aby zveřejňovaly komplexní informace o udržitelnosti. Splnění těchto očekávání vyžaduje efektivní procesy transformace a příjmu dat.
Tato část se zaměřuje na nejnovější vylepšení a možnosti procesu příjmu dat, který staví na stávajících funkcích aplikace Microsoft Sustainability Manager. Tyto nové funkce poskytují efektivní a rozšířenou platformu pro řízení procesu transformace a příjmu. Poskytuje zjednodušené uživatelské rozhraní, několik metod příjmu dat, šablony a funkce mapování.
Uživatelské prostředí pro import dat
Zjednodušené uživatelské rozhraní s pokyny je pro organizace velmi potřebnou funkcí k úspěšné transformaci dat a příjmu jejich environmentálních dat.
Prostředí pro příjem dat Sustainability Manager udržuje datový model během příjmu v popředí, aby se omezily chyby uživatelů. Uživatelé mohou využít flexibilitu a více metod příjmu na základě svých požadavků a návrhů. Kromě toho lze data přijímat mezi více entitami a kategoriemi prostřednictvím jednorázového importu s použitím stejného příjmu. Tyto mechanismy příjmu jsou standardizovány pro uhlík, vodu a odpad.
Důležitým aspektem příjmu dat je oddělení transformace, mapování a importu dat. Tato absence vazby také pomáhá zmírňovat rizika lidských chyb při extrahování, transformaci a načítání dat.
Během procesu datového připojení mohou uživatelé organizace využít postranní panel nástrojů pro transformaci dat k následujícím úkonům:
Konfigurace datových sad, které se mají importovat.
Ověření datových sad s pomocí kontrolních seznamů. Kontrolní seznamy zajišťují úspěšný import dat a řeší problémy související s povinnými datovými sloupci, neshodami datových typů, vyplňováním hodnot sad možností a vyhledáváním referenčních dat.
Vestavěné metody příjmu a aspekty návrhu
Sustainability Manager poskytuje čtyři způsoby příjmu v závislosti na těchto bodech:
- Datový typ
- Source
- Potřeby transformace dat
- Úroveň uživatelského prostředí
- Frekvence importu
Tyto různé metody můžete použít s následujícími aspekty.
| Metoda a popis | Aspekty návrhu | Použít když |
|---|---|---|
| Šablony Excel jsou zabudovány do Microsoft Sustainability Manager a uživatelé si je mohou stáhnout, připravit svá data a importovat do konkrétních entit. | Šablony aplikace Excel jsou pravidelně aktualizovány. Při každém importu doporučujeme stáhnout nejnovější šablony Excel.
Protože šablony Excel dodržují konvenci pojmenování datových modelů, nevyžadují mapování dat na model. Šablony Excel představují nejjednodušší formu importu dat. Jsou vhodné pro menší sady dat, které podporují soubory Excel, a pro počáteční přípravu systému. Šablony Excel obsahují předdefinovanou sadu entit, které umožňují import dat. |
Šablony Excel se nejlépe používají, když je příprava/transformace dat prováděna mimo Sustainability Manager a data jsou připravena pro přímý import.
Příklad: Výrobce kávy Contoso Coffee může použít šablony referenčních dat Excel k nastavení svých zařízení a poté pomocí šablon dat pro aktivity a emise pokračovat ve vytvoření dat aktivit souvisejících s uhlíkem a předem vypočítaných emisí. Poté mohou importovat jednu položku všech tří typů dat prostřednictvím jediného příjmu dat. |
| Řízené prostředí Power Query je prostředí zaměřené na mapování dat, které navádí koncové uživatele podobně jako k nákupnímu košíku, aby se minimalizovaly chyby při příjmu dat. | Power Query poskytuje komplexní přístup k transformaci a příjmu dat, takže je efektivní pro manipulaci s různými zdroji dat.
Power Query je výhodný pro zdroje dat, které mají vestavěné konektory dostupné v Microsoft Sustainability Manager, což zjednodušuje proces importu dat. Řízené prostředí Power Query poskytuje flexibilitu a podrobné pokyny v průběhu celého procesu příjmu dat a umožňuje uživatelům přidávat a odebírat entity podle potřeby. |
Použijte Power Query, když potřebujete: – importovat data pro více entit z různých zdrojů; – používat vestavěné konektory Power Query dostupné v Microsoft Sustainability Manager; – častý import a aktualizaci dat; – transformaci dat během procesu dat; – prostředí s pokyny a flexibilitou pro manipulaci s entitami a mapování dat; – před mapováním na datový model provést transformaci dat s různými typy zdrojů. Příklad: Výrobce kávy Contoso Coffee chce importovat data o emisích z dodavatelského řetězce ERP a data poskytnutá dodavatelem v Azure Synapse. Společnost Contoso může využít prostředí s pokyny Power Query k transformaci a mapování s využitím podrobných pokynů v editoru. |
| Partnerské konektory – jsou katalogem konektorů pro import dat z partnerských řešení. | Sustainability Manager obsahuje konektory pro import dat z partnerských řešení.
Tato platforma poskytuje katalog předem sestavených a vlastních konektorů od poskytovatelů provozních dat. Důležitým aspektem importu dat pomocí partnerských konektorů je, že mapování a transformace dat je zapouzdřena v konektoru. Tyto úkony není třeba provádět během procesu importu. |
Použijte je, když potřebujete importovat data z partnerského řešení a v katalogu se nachází odpovídající konektor.
Příklad: Contoso Coffee využívá cloudové řešení společnosti Arcadia k zachycování dat o nakoupené elektřině a zemního plynu pro svá zařízení. Firma používá konektor Arcadia k importu dat o zakoupené elektřině do aplikace Sustainability Manager. Tento konektor umožňuje vypočítat emise o rozsahu 2 pro všechna globální zařízení. |
| Ruční import dat do aplikace Sustainability Manager | Microsoft Sustainability Manager poskytuje dva způsoby ručního importu dat.
První metoda umožňuje vkládání jednotlivých záznamů, což je užitečné pro import konfiguračních dat, jako jsou referenční data. Druhý způsob umožňuje hromadný import záznamů aktivit a záznamů referenčních dat. Pro rozsah 3, kategorii 8 a kategorii 13 musíte vybrat podkategorii dat, abyste získali přístup k možnostem hromadného nahrávání. Při aktualizaci záznamů dat o aktivitách musíte odstranit dříve importovaná data a znovu naimportovat všechna data. |
Ruční import dat v Sustainability Manager zvažte, když potřebujete importovat jednotlivé záznamy dat o aktivitě, vodě nebo odpadu. Tyto možnosti navíc využijte, když chcete importovat referenční data nebo když máte velký objem dat o aktivitách k hromadnému importu. Pokud máte specifické datové formáty pro hromadný import, jako je Excel, CSV nebo XML, možnost ručního hromadného nahrání je ideální volbou. Například specialista na udržitelnost, který nastavuje data organizace, přejde do Nastavení > Profil společnosti > Obecné, kde ručně definuje atributy organizace. |
Následující tabulka shrnuje aspekty návrhu pro organizace vytvářející návrh procesu pro import dat. Doporučujeme pečlivě zvážit klady a zápory jednotlivých metod příjmu dat a jejich kompromisy během návrhu.
| Metoda příjmu dat | Šablony Excelu | Prostředí s pokyny Power Query | Partnerské konektory | Ruční zadání |
|---|---|---|---|---|
| Typické uživatelské persony | Obchodní persony | Obchodní/technické persony | Technické persony | Obchodní persony |
| Lze naplánovat? | ✗ | ✓ | ✓ | ✗ |
| Objem dat k načtení | Hromadné | Hromadné | Hromadné | Po jednom, hromadné |
| Povolit transformaci dat? | ✗ | ✓ | ✗ | ✗ |
| Poskytuje přírůstkovou aktualizaci? | ✗ | ✓ | ✓ | ✗ |
| Data jsou přepsána během importu? | ✗ | ✓ | ✗ | ✗ |
| Lze importovat více entit? | ✓ | ✓ | ✗* | ✗ |
| Poskytuje příjem dat zpracování chyb? | ✓ | ✓ | ✓ | Nelze použít |
Poznámka:
Import více entit pomocí partnerských konektorů v rámci jednoho příjmu dat je součástí plánu produktu.
Další informace naleznete v článku Přehled importu dat v Microsoft Sustainability Manager.
Stručně řečeno, při importu dat do Microsoft Sustainability Manager jsou důležité následující aspekty:
Začněte se šablonou Excel, která představuje jednodušší metodu pro práci s příjmem dat. Podle složitosti dat a porozumění datovému modelu postupte k vytvoření průběžných importů dat pomocí prostředí s pokyny Power Query.
Během příjmu dat v prostředí s pokyny Power Query mějte na paměti následující tipy:
- K transformaci dat použijte funkce Power Query.
- Pomocí nástrojů pro transformaci dat a kontrolního seznamu zkontrolujte datové tabulky a jejich příslušné datové typy.
- Při mapování zdrojových dat použijte funkci automatického mapování.
Naplánujte časové úseky a pravidla aktualizace, abyste umožnili nepřetržitý import požadovaných dat po vytvoření a ověření připojení.
Úplná a přírůstková aktualizace dat
Pravidelný import dat ze zdrojů dat je pro organizace nezbytností pro výpočet jejich nejnovějších dat ohledně udržitelnosti pro účely vykazování. Organizace mohou získávat data ze svých zdrojových systémů ve dvou režimech.
Úplná aktualizace dat: Importuje úplnou kopii zdrojových systémových dat do aplikace Microsoft Sustainability Manager.
Přírůstková aktualizace dat: Ze zdrojových systémů načte a importuje pouze aktualizované nebo nově vytvořené záznamy od poslední aktualizace.
Přírůstková aktualizace dat umožňuje organizacím přidávat nová data, když jsou k dispozici, při každé aktualizaci dat. Organizace se také mohou rozhodnout pro úplnou aktualizaci, pokud je potřeba data plně obnovit během každého dotazu. Tato funkce je dostupná pouze pro import s pomocí Power Query.
Chcete-li využít výhod této vestavěné funkce, při vytváření připojení pro zdroje dat je vytvořte zásady aktualizace. Microsoft Sustainability Manager poskytuje tuto funkci pro metodu importu s pomocí Power Query. Během procesu vytváření připojení mohou uživatelé definovat plán a frekvenci spouštění úloh importu dat a v případě potřeby vybrat možnost odebrat dříve importovaná data. Tato akce umožňuje naplánovat přírůstkovou aktualizaci.
Úplná aktualizace dat se doporučuje v následujících situacích:
Když datový model zdrojového systému projde nějakými změnami, je třeba změny promítnout do aplikace pro transformaci nebo mapování dat.
Když se zdrojová data výrazně změnila a přírůstková aktualizace nestačí k zachycení změn.
Když byla upravena obchodní logika zdrojového systému a je třeba přepočítat stávající data.
Když byla narušena kvalita nebo integrita dat kvůli chybám, poškození nebo škodlivým útokům.
Přírůstková aktualizace dat se doporučuje v následujících situacích:
Když organizace vyžadují hromadný import dat z více zdrojů dat.
Když organizace vyžadují včasnou aktualizaci dat na základě konkrétních časových os.
Když zdrojové systémy poskytují historická, kumulativní data a organizace potřebují po počátečním načtení dat importovat nově dostupná data (metodou vložení nebo upsert).
Pokud například aplikace Sustainability Manager přijímá data ze souborů aplikace Excel v knihovně dokumentů SharePoint aktualizované dodavateli, vyžaduje zásady aktualizací, aby pravidelně spotřebovávala nejnovější data.
Zatímco plánování na úrovni datového připojení poskytuje způsob, jak navrhnout plán importu dat, neřeší problém načítání pouze datových delt z různých zdrojových systémů. Pomocí přírůstkové aktualizace mohou správci dat nakonfigurovat podrobná pravidla pro načítání pouze přírůstkových dat. Proces může poskytnout dodatečné filtry, pravidla a časová razítka na každé úrovni dotazu v datovém připojení.
Další informace o přírůstkové aktualizaci najdete v části Přírůstková aktualizace dat v Microsoft Sustainability Manager
Síťové připojení ke zdrojům dat
Během návrhu strategií importu dat organizace často čelí výzvě bezpečného a efektivního připojení ke vzdáleným zdrojům dat. Tyto vzdálené zdroje dat mohou být místní nebo v cloudu. Různé bezpečnostní standardy a opatření, které organizace používají k ochraně svých datových aktiv, tuto výzvu dále umocňují. Síťové komponenty tedy vyžadují pečlivé zvážení různých možností pro zajištění bezpečnosti a spolehlivosti dat.
Tato část se zabývá dvěma způsoby připojení ke vzdáleným zdrojům dat. Tyto zdroje dat mohou existovat v Azure Cloud v rámci virtuální sítě nebo mohou existovat místně. Pro připojení z aplikace Sustainability Manager k Azure Data Services v rámci virtuální sítě mohou organizace použít bránu dat virtuální sítě. Pro připojení k místním zdrojům dat můžete použít místní bránu dat.
Následující tabulka obsahuje některá důležitá témata týkající se sítí a aspekty návrhu při importu dat ze vzdáleného zdroje umístěného v místní infrastruktuře:
| Popis | Aspekty návrhu |
|---|---|
| Brána dat virtuální sítě | Pro připojení ke zdrojům dat v Azure, které jsou zabezpečené virtuální sítí, použijte bránu dat virtuální sítě. Tento přístup může být užitečný, pokud zdroj dat není veřejně přístupný.
Chcete-li vědět, jak nakonfigurovat bránu dat virtuální sítě, přejděte do části Použití brány dat virtuální sítě a zdrojů dat |
| Místní brána dat | Použijte místní brány dat jako bezpečný most mezi místními zdroji dat o udržitelnosti a aplikací Sustainability Manager. Místní bránu dat si musíte stáhnout, nainstalovat a nakonfigurovat.
Další informace najdete v části Co je místní brána dat? |
| Ověření zdrojů dat | Pro přístup k datům o udržitelnosti upřednostněte silný ověřovací mechanismus. Vyhněte se používání slabých přihlašovacích údajů a zvažte použití ověřování založeného na ověřování Windows nebo OAuth pro zlepšené zabezpečení. |
| Přidání IP adres do seznamu povolených z odchozího místního zdroje dat | Ujistěte se, že seznam povolených IP adres umožňuje odchozí komunikaci mezi místními prostředky a aplikací Sustainability Manager.
Chcete-li zkontrolovat rozsahy IP adres na seznamu povolených, přejděte do části Odchozí IP adresy spravovaných konektorů |
| Výkon | Optimalizujte dotazy, abyste minimalizovali data přenášená po síti. Optimalizované dotazy snižují latenci, zvyšují výkon a šetří síťové zdroje. |
| Monitorování a auditování | Předcházejte narušení bezpečnosti implementací monitorování a protokolování bran a prováděním pravidelných kontrol s bezpečnostními účastníky vaší organizace.
Chcete-li vědět více o shromažďování protokolů z datové brány, přejděte do části Odstraňování problémů s místní bránou dat |
Stručně řečeno, výběr bezpečného a spolehlivého návrhu sítě je zásadní pro zajištění robustního mechanismu importu pro vzdálené zdroje dat. Patří mezi ně provedení nezbytných kroků:
- Instalace brány pro vzdálené místní zdroje dat a zdroje dat hostované v Azure a zabezpečené virtuální sítí.
- Použití silných ověřovacích mechanismů.
- Přidání odchozích IP adres na seznam povolených pro umožnění komunikace z umístění místních dat.
- Minimalizace dat přenášených po síti.
- Provádění pravidelných bezpečnostních auditů.
Zpracování chyb
Zpracování chyb při importu dat hraje zásadní roli pro zajištění správného importu dat, a zda řídicí panely zobrazují nejnovější informace o sestavách a analýzách udržitelnosti. Sustainability Manager umožňuje uživatelům kontrolovat a opravovat chyby při importu dat. Tyto chybové zprávy jsou nyní k dispozici pro všechny tři typy importu, šablony, řízený postup Power Query a prostředí partnerů.
Další informace najdete v části Chyba při zpracování importu dat v Microsoft Sustainability Manager