Import danych
W świecie zrównoważonego rozwoju rozliczanie i raportowanie, przekształcanie i import danych odgrywają kluczową rolę w zapewnieniu dokładnego, wiarygodnego i kompleksowego wglądu w dane dotyczące zrównoważonego rozwoju. Jednak organizacje często mierzą się z wyzwaniami technicznymi i biznesowymi w zakresie efektywnego zarządzania danymi dotyczącymi zrównoważonego rozwoju i przetwarzania ich do celów sprawozdawczych.
Niektóre z kluczowych wyzwania to:
Stopień szczegółowości i złożoności danych: zarządzanie danymi w zakresie zrównoważonego rozwoju z wielu źródeł i kategorii jest niezbędne w celu utworzenia kompleksowego i szczegółowego obrazu postępu w zakresie efektywności środowiska obejmującego sprawy związane z węglem, wodą i odpadami.
Jakość i spójność danych: dokładne, wiarygodne i spójne dane dostępne w całej organizacji mają istotne znaczenie dla dokładnego raportowania i zgodności.
Skalowalność i wydajność: sprawna obsługa i przetwarzanie dużych zestawów danych przy jednoczesnym zachowaniu optymalnej wydajności ma decydujące znaczenie dla organizacji w najbliższym i długim okresie.
Dostępność danych: dane mogą być dostarczane w różnych formatach lub wymagać ręcznego przechwytywania.
Ponadto firmy są pod coraz większą presją interesariuszy, inwestorów, klientów i przepisów prawa w celu ujawniania kompleksowych informacji na temat zrównoważonego rozwoju. Aby spełnić te oczekiwania, należy efektywniej pozyskiwać dane i przetwarzać je.
W tej sekcji skupiono się na najnowszych ulepszeniach i możliwościach procesu pozyskiwania danych korzystającego z możliwości, jakie daje program Microsoft Sustainability Manager Nowe możliwości zapewniają płyną i zaawansowaną platformę do zarządzania procesem przekształcania i pozyskiwania danych. Udostępnia ona uproszczony interfejs użytkownika, wiele metod pozyskiwania danych, szablony i mapowania.
Środowisko użytkownika importującego dane
Uproszczony i wspomagany interfejs użytkownika umożliwia organizacjom pomyślne przekształcenie danych i wprowadzanie do nich danych dotyczących środowiska naturalnego.
Środowisko pozyskiwania danych Sustainability Manager utrzymuje model danych na pierwszym planie podczas pozyskiwania danych, aby ograniczyć błędy użytkownika. Użytkownicy mogą elastycznie korzystać z wielu metod pozyskiwania danych, w zależności od swoich wymagań i kwestii projektowych. Dodatkowo dane mogą być wykorzystywane w wielu obiektach i kategoriach poprze ich jednorazowy import z zastosowaniem tego samego pozyskania. Te mechanizmy pozyskiwania są standaryzowane w różnych regionach dla węgla, wody i odpadów.
Ważnym aspektem procesu pozyskiwania danych jest rozdzielenie przekształcenia danych, mapowanie danych i import danych. Rozdzielenie danych pomaga także w zmniejszeniu ryzyka błędów ludzkich przy wyodrębnianiu, przekształcaniu i ładowaniu danych.
Podczas procesu łączenia danych użytkownicy organizacji mogą używać paska bocznego narzędzi do przekształcania w celu:
Konfiguracji zestawu danych do zaimportowania.
Używania list kontrolnych do sprawdzania poprawności zestawów danych. Listy kontrolne pozwalają pomyślnie importować dane i rozwiązywać problemy związane z obowiązkowymi kolumnami danych, niezgodnościami typów danych, wypełnianiem wartości zestawu opcji i sprawdzaniem danych referencyjnych.
Wbudowane metody pozyskiwania i uwagi dotyczące projektowania
Program Sustainability Manager udostępnia cztery metody pozyskiwania danych, w zależności od:
- Typ danych
- Lokalizacja źródłowa
- Wymagane narzędzia do przekształcania danych
- Poziom doświadczenia użytkownika
- Częstotliwość importu
Można korzystać z tych różnych metod, biorąc pod uwagę następujące kwestie.
| Metoda i opis | Uwagi dotyczące projektowania | Użyj, kiedy |
|---|---|---|
| Szablony programu Excel są wbudowane w programie Microsoft Sustainability Manager i użytkownicy mogą pobierać, przygotowywać swoje dane i importować do określonych encji. | Szablony programu Excel są odświeżane okresowo. Zalecamy pobranie najnowszych szablonów programu Excel podczas każdego importu.
Szablony programu Excel postępują zgodnie z konwencją nazewnictwa modelu danych, więc nie wymagają mapowania danych na model. Szablony programu Excel reprezentują najprostszą formę importowania danych. Są one odpowiednie dla mniejszego zestawu danych, który plik programu Excel może obsługiwać, i do początkowego przygotowania systemu. Szablony programu Excel zawierają wstępnie zdefiniowany zestaw encji umożliwiających importowanie danych. |
Szablony programu Excel najlepiej używać, gdy przygotowanie/przekształcenie danych jest wykonywane poza programem Sustainability Manager, a dane są gotowe do bezpośredniego importu.
Przykład: Contoso coffee, producent kawy, może użyć szablonu programu Excel Dane referencyjne do skonfigurowania swoich obiektów, a następnie przystąpić do konfigurowanie działania dla węgla i wstępnie obliczonych danych dotyczących emisji przy użyciu szablonów danych Działanie i Emisje. Następnie mogą zaimportować wszystkie trzy typy danych za pomocą jednego elementu. |
| Wspomagana obsługa funkcji Power Query to środowisko mapowania danych, którego obsługa, dzięki wskazówkom, jest tak łatwa jak wózka na zakupy w markecie w celu zminimalizowania błędów pozyskiwania. | Program Power Query oferuje kompleksowe podejście do transformacji i pozyskiwania danych, dszięki czemu ułatwia efektywną obsługę różnych źródeł danych.
Program Power Query jest korzystny dla źródeł danych, które mają wbudowane łączniki dostępne w Microsoft Sustainability Manager, co usprawnia proces importowania danych. Wspomagana obsługa funkcji Power Query może zapewnić elastyczność i szczegółowe wskazówki w całym procesie pozyskiwania, co pozwala użytkownikom na dodawanie i usuwanie encji w razie potrzeby. |
Użyj funkcji Power Query, gdy potrzebne jest: – importowanie danych dla wielu encji z różnych źródeł. – istnieją wbudowane łączniki Power Query dostępne w Microsoft Sustainability Manager. – wymagane jest częste importowanie i odświeżanie danych – wymagane jest przekształcanie danych podczas procesu pozyskiwania. – preferowane są wskazówki i elastyczność manipulowania encjami i mapowanie danych. – przed mapowaniem na model danych należy obsługiwać przekształcenia danych z różnymi typami źródłowymi. Przykład: Contoso Coffee, producent kawy, chce zaimportować dane dotyczące emisji z łańcucha dostaw ERP i dostawcy podał dane formacie Azure Synapse. Contoso może korzystać ze strony Power Query , aby przekształcać i mapować, korzystając ze szczegółowych wskazówek zawartych w edytorze. |
| Łączniki partnerów – to katalog łączników, z których można importować dane z rozwiązań partnerów. | Program Sustainability Manager zawiera łączniki służące do importowania danych z rozwiązań partnerskich.
Platforma oferuje katalog wstępnie utworzonych i niestandardowych łączników od dostawców danych operacyjnych.. Ważnym aspektem importowania danych za pomocą konektorów partnerskich jest to, że mapowanie i transformacja danych są zawarte w konektorze. Nie muszą one być wykonywane podczas procesu importu. |
Należy ich użyć, jeśli jest konieczne zaimportowanie danych z rozwiązania partnerskiego, a odpowiedni łącznik znajduje się w katalogu.
Przykład: firma Contoso Coffee używa rozwiązania w chmurze usługowej firmy Arcadia w celu przechwytywania danych dotyczących zakupionej energii elektrycznej i gazu dla swoich pomieszczeń. Korzystają ona z łącznika Arcadia do importowania tych danych do programu Sustainability Manager. Ten łącznik umożliwia obliczanie emisji w zakresie 2 dla wszystkich swoich obiektów. |
| Ręczne importowanie danych do programu Sustainability Manager | Microsoft Sustainability Manager udostępnia dwie metody ręcznego importowania danych.
Pierwsza metoda umożliwia wprowadzanie poszczególnych rekordów, przydatnych do importowania danych konfiguracji, na przykład jak danych referencyjnych. Druga metoda umożliwia zbiorcze importowanie rekordów działania i rekordów danych referencyjnych. Dla zakresu 3, kategorii 8 i kategorii 13 należy wybrać podkategorię danych, aby uzyskać dostęp do opcji zbiorczego przekazywania. Podczas aktualizowania rekordów danych działania należy usunąć wcześniej zaimportowane dane i ponownie zaimportować wszystkie dane. |
Warto rozważyć użycie opcji ręcznego importowania danych w programie Sustainability Manager, kiedy jest konieczne importowanie poszczególnych rekordów danych działania, wodą lub odpadów. Ponadto można wykorzystać te opcje, kiedy dane referencyjne mają zostać zaimportowane lub jeśli jest importowanych zbiorczo wiele danych działania. Jeśli w imporcie zbiorczym są określone formaty danych, np. Excel, CSV lub XML,, to opcja ręcznego przekazywania zbiorczego jest idealnym wyborem. Na przykład specjalista ds. zrównoważonego rozwoju konfigurujący dane organizacji przechodzi do Ustawienia > Profil firmy > Ogólne w celu ręcznego zdefiniowania atrybutów organizacji. |
W poniższej tabeli przedstawiono podsumowanie kwestii projektowania dla organizacji podczas projektowania procesu importowania danych. Zalecamy uważne zapoznanie się z zaletami i wadami każdej z metod pozyskiwania i ich kompromisami projektowymi.
| Metoda pozyskiwania | Szablony programu Excel | Wspomagana obsługa funkcji Power Query | Łączniki partnera | Wpis ręczny |
|---|---|---|---|---|
| Typowa osoba użytkownika | Użytkownik biznesowy | Użytkownik biznesowy/technik | Technicy | Użytkownik biznesowy |
| Planowanie | ✗ | ✓ | ✓ | ✗ |
| Ilość ładowanych danych | Zbiorczo | Zbiorczo | Zbiorczo | Pojedynczo, zbiorczo |
| Przekształcanie danych | ✗ | ✓ | ✗ | ✗ |
| Odświeżanie przyrostowe | ✗ | ✓ | ✓ | ✗ |
| Zastępowanie danych podczas importu | ✗ | ✓ | ✗ | ✗ |
| Importowanie wielu encji | ✓ | ✓ | ✗* | ✗ |
| Obsługa błędów pozyskiwania | ✓ | ✓ | ✓ | N/D |
Uwaga
Importowanie wielu encji przy użyciu łączników partnera w jednej operacji pozyskiwania jest przewidywane w przyszłości.
Aby uzyskać więcej informacji, zobacz Omówienie funkcji importu danych w programie Microsoft Sustainability Manager.
Podsumowując, podczas importu danych do programu Microsoft Sustainability Manager należy wziąć pod uwagę następujące kwestie:
Rozpocznij od prostszej metody pozyskiwania danych przy użyciu szablonów programu Excel. W zależności od stopnia złożoności danych i znajomości modelu danych przechodź dotworzenia ciągłego importu danych przy użyciu wspomaganej obsługi funkcji Power Query.
Pozyskując dane przy użyciu wspomaganej obsługi funkcji Power Query, należy pamiętać o następujących poradach:
- Funkcji Power Query można użyć do wykonywania przekształceń danych.
- Narzędzia i listy kontrolne transformacji danych służą do przeglądania tabel danych i ich odpowiednich typów danych.
- Podczas mapowania danych źródłowych należy skorzystać z funkcji mapowania automatycznego.
Zaplanować odświeżanie czasu i reguły, aby włączyć ciągły import wymaganych danych po utworzeniu i weryfikacji połączenia.
Pełne i przyrostowe odświeżanie danych
Okresowy import danych ze źródeł danych jest konieczny, aby organizacje obliczały najnowsze dane dotyczące zrównoważonego rozwoju do celów raportowania. Organizacje mogą uzyskać dane z systemów źródłowych w dwóch trybach.
Pełne odświeżanie danych: importowanie pełnej kopii danych systemowych źródłowych do aplikacji Microsoft Sustainability Manager.
Przyrostowe odświeżenie danych: pobieranie i importowanie tylko zaktualizowanych lub nowo utworzonych rekordów z systemów źródłowych od czasu ostatniego odświeżenia.
Przyrostowe odświeżenie danych umożliwia organizacjom pobieranie nowych danych, gdy są dostępne, przy każdym odświeżeniu danych. Organizacje mogą również wybrać opcję pełnego odświeżania, jeśli podczas każdego zapytania dane muszą być w pełni odświeżane. Ta funkcja jest dostępna tylko w przypadku importu przez funkcję Power Query.
Aby skorzystać z tej wbudowanej możliwości, należy utworzyć zasady odświeżania podczas tworzenia połączenia dla źródeł danych. Program Microsoft Sustainability Manager umożliwia to w przypadku importu przez funkcję Power Query. Podczas procesu tworzenia połączenia użytkownicy mogą zdefiniować harmonogram i częstość uruchamiania zadań importowania danych i w razie potrzeby wybrać opcję usunięcia wcześniej zaimportowanych danych. Ta akcja umożliwia zaplanowanie odświeżania przyrostowego.
W następujących sytuacjach zalecane jest pełne odświeżenie danych:
Jeśli w modelu danych systemu źródłowego zostaną wprowadzone jakiekolwiek zmiany, zmiany muszą zostać odzwierciedlone w aplikacji w celu przekształcenia lub mapowania danych.
Jeśli dane źródłowe znacząco się zmienią, a odświeżenie przyrostowe danych nie wystarcza do przechwytywania zmian.
Kiedy logika biznesowa systemu źródłowego zostanie zmodyfikowana i istniejące dane trzeba przeliczyć.
W sytuacji, gdy jakość danych lub integralność danych zostały naruszone z powodu błędów, uszkodzenia danych lub złośliwych ataków.
W następujących sytuacjach zalecane jest przyrostowe odświeżenie danych:
Gdy organizacje wymagają zbiorczego importu danych z wielu źródeł danych
Gdy organizacje wymagają terminowego odświeżania danych w związku z ustaleniami na osiach czasu
Jeśli w systemach źródłowych są dostępne dane historycznych, skumulowane i organizacje muszą zaimportować nowe dostępne dane (wstawianie lub upsert) po początkowym załadowaniu danych
Na przykład, jeśli program Sustainability Manager pobiera zaktualizowane przez dostawców dane z plików programu Excel w bibliotece dokumentów SharePoint, wymaga to odświeżenia zasad, które mają na celu okresowe przetwarzanie najnowszych danych.
Planowanie na poziomie połączenia danych umożliwia projektowanie harmonogramu importu danych. Nie rozwiązuje to problemu pobierania tylko danych w formacie delta z różnych systemów źródłowych. W procesie odświeżania danych administratorzy danych mogą konfigurować reguły stopnia szczegółowości wyłącznie do pobierania przyrostowego. Proces może zapewnić dodatkowe filtry, reguły i znaczniki czasu na każdym poziomie zapytania w połączeniu danych.
Aby dowiedzieć się więcej o odświeżaniu przyrostowym, przejdź do strony Przyrostowe odświeżanie danych w programie Microsoft Sustainability Manager
Połączenie sieciowe ze źródłem danych
Podczas projektowania strategii importu danych organizacje często mierzą się z wyzwaniem związanym z bezpiecznym i efektywnym łączeniem ze zdalnymi źródłami danych. Te zdalne źródła danych mogą znajdować się w chmurze lub lokalnie. Różne standardy i środki zabezpieczające podejmowane przez organizacje w celu ochrony zasobów danych sprawiają, że to wyzwanie jest jeszcze większe. W związku z tym składniki sieci wymagają dokładnego rozważenia różnych opcji, aby zapewnić bezpieczeństwo danych i niezawodność.
W tej sekcji omówimy dwie metody łączenia się ze zdalnymi źródłami danych. Te źródła danych mogą być w chmurze Azure w sieci wirtualnej lub mogą znajdować się w lokalnych danych. Aby połączyć się z programu Sustainability Manager do usługi Azure Data Services w sieci wirtualnej, organizacje mogą używać bramy danych sieci wirtualnej. Do łączenia się lokalny źródłami danych można użyć lokalnej bramy danych.
W poniższej tabeli przedstawiono kilka ważnych tematów dotyczących sieci i kwestii związanych z projektowaniem importowania danych ze zdalnego źródła znajdującego się w lokalnej infrastrukturze:
| Temat | Uwagi dotyczące projektowania |
|---|---|
| Brama danych sieci wirtualnej | Używanie bramy danych sieci wirtualnej do łączenia się ze źródłami danych zlokalizowanymi na platformie Azure i zabezpieczonych przez sieć wirtualną. Takie podejście może być przydatne, gdy źródło danych nie jest publicznie dostępne.
Aby dowiedzieć się, jak skonfigurować bramę danych sieci wirtualnej, przejdź do sekcji Używanie bramy danych sieci wirtualnej i źródeł danych |
| Lokalna brama danych | Używanie lokalnej bramy danych jako bezpiecznego mostka między lokalny źródłami danych dotyczących zrównoważonego rozwoju a programem Sustainability Manager. Należy pobrać, zainstalować i skonfigurować lokalną bramę danych.
Aby dowiedzieć się więcej, przejdź do sekcji Co to jest lokalna brama danych? |
| Uwierzytelnianie źródła danych | W celu uzyskania dostępu do danych dotyczących zrównoważonego rozwoju należy priorytetowo określić mechanizm silnego uwierzytelniania. W celu zwiększenia bezpieczeństwa należy unikać słabych poświadczeń i rozważyć używanie poświadczeń w systemie Windows lub OAuth. |
| Dodawanie do listy dozwolonych adresów IP z lokalnego źródła danych | Upewnij się, że lista dozwolonych adresów IP zezwala na włączenie komunikacji wychodzącej między lokalnymi zasobami a programem Sustainability Manager.
Aby przejrzeć zakresy adresów IP do listy dozwolonych, przejdź do Łączniki zarządzane wychodzących adresów IP |
| Wydajność | Optymalizacja kwerend w celu zminimalizowania danych przesyłanych przez sieć. Zoptymalizowane kwerendy zmniejszające liczbę zasobów sieciowych, zwiększają wydajność i oszczędzają zasoby sieci. |
| Monitorowanie i inspekcja | Zapobieganie utracie zabezpieczeń przez implementację monitorowania i rejestrowania bram oraz przeprowadzanie okresowych przeglądu z interesariuszami zabezpieczeń organizacji.
Aby dowiedzieć się więcej o zbieraniu dzienników bram danych, przejdź do sekcji Rozwiązywanie problemów z lokalnymi bramami danych |
Podsumowując, zapewnienie bezpiecznego i niezawodnego działania sieci ma krytyczne znaczenie dla zapewnienia niezawodnych mechanizmów importu ze zdalnych źródeł danych. Obejmują to wykonanie niezbędnych kroków w celu:
- Instalacja bram do dostępnych zdalnie lokalnych źródeł danych i źródeł danych hostowanych na platformie Azure dostępnych prze sieć wirtualną.
- Korzystanie z silnych mechanizmów uwierzytelniania.
- Dodanie wychodzących adresów IP do listy dozwolonych w celu umożliwienia komunikacji z danymi zlokalizowanymi lokalnie.
- Minimalizacja ilość danych przesyłanych przez sieć.
- Regularne audyty zabezpieczenia.
Obsługa błędów
Obsługa błędów podczas importu danych zapewnia poprawny import danych, a pulpity nawigacyjne zawierają najnowsze informacje do raportów dotyczący zrównoważonego rozwoju i analiz. Sustainability Manager umożliwia użytkownikom przeglądanie i naprawianie błędów w importach danych. Te raporty o błędach są teraz dostępne dla wszystkich trzech typów importu, szablonów, przepływu prowadzonego przez Power Query i doświadczenia partnera.
Aby uzyskać więcej informacji, przejdź do sekcji Obsługa błędów podczas importowania danych w programie Microsoft Sustainability Manager