Pozyskiwanie danych za pomocą łącza Azure Synapse Link
Wykonaj kroki opisane w tym artykule, aby przenieść dane środowiskowe organizacji z modelu danych Sustainability Manager do Dataverse magazynu lakehouse IngestedRawData w obszarze roboczym sieci szkieletowej przy użyciu Azure Synapse linku.
Wymagania wstępne
- Wdróż funkcję Dane środowiskowe i szczegółowe informacje w obszarze roboczym sieci szkieletowej.
- Upewnij się, że Microsoft Sustainability Manager jest zainstalowany i skonfigurowany Dataverse w danym środowisku.
- Upewnij się, że masz rolę zabezpieczeń administratora Dataverse systemu.
- Wdróż funkcję danych środowiskowych i szczegółowych informacji w obszarze roboczym sieci szkieletowej.
- Upewnij się, że masz Azure Data Lake Storage konto magazynu Gen2.
- Upewnij się, że masz rolę zabezpieczeń administratora Dataverse systemu.
- Upewnij się, że masz Azure Data Lake Storage konto Gen2 oraz dostęp do roli właściciela i współautora danych obiektu blob usługi Storage. Konto magazynu musi udostępniać hierarchiczną przestrzeń nazw zarówno dla początkowej konfiguracji, jak i synchronizacji. Zezwalanie na dostęp do klucza konta magazynu jest wymagane tylko w przypadku początkowej konfiguracji.
Krok 1: Skonfiguruj Azure Synapse link
W tym kroku należy skonfigurować łącze Azure Synapse do środowiska Menedżer zrównoważonego rozwoju, z którego mają być wprowadzane dane do rozwiązań danych dotyczących zrównoważonego rozwoju w obszarze roboczym sieci szkieletowej.
Otwórz portal. Power Apps W prawym górnym rogu wybierz Dataverse środowisko, w którym zainstalowany jest Sustainability Manager.
Wybierz pozycję Azure Synapse Link w okienku po lewej stronie, a następnie wybierz pozycję Nowy link. Jeśli jeszcze go nie widzisz, wybierz pozycję Więcej, wybierz pozycję Odkryj wszystko, wybierz pozycję Zarządzanie danymi, a następnie wybierz pozycję Azure Synapse Połącz.
Pozostaw pole Połącz się z obszarem roboczym Azure Synapse Analytics niezaznaczone. Skrypty integracji i transformacji uruchamiasz w usłudze Fabric, a nie w Synapse.
Wprowadź szczegóły konta magazynu i subskrypcji, a następnie wybierz Dalej. Można wybrać tylko konto magazynu znajdujące się w tej samej lokalizacji co środowisko. Na przykład jeśli Twoje środowisko znajduje się w regionie Zachodnie stany USA, Twoje konto magazynu powinno znajdować się w regionie Zachodnie stany USA lub Zachodnie stany USA 2.
Wybierz z listy wszystkie tabele Menedżera zrównoważonego rozwoju i wybierz opcję Zapisz. Możesz filtrować według msdyn_, aby wyświetlić odpowiednie tabele.
Zostanie Azure Synapse utworzone połączenie z kontem magazynu, a wybrane tabele zostaną wyeksportowane do konta magazynu. Tabele w linku można dodać lub usunąć, wracając do Azure Synapse pozycji Łącze, wybierając utworzony link, a następnie wybierając pozycję Zarządzaj tabelami.
Otwórz konto Data Lake Storage Gen2 podane podczas tworzenia linku w poprzednich krokach. Nowy kontener rozpoczynający się od-jest Dataverse tworzony na koncie magazynu ze wszystkimi wybranymi tabelami wyeksportowanymi w strukturze folderów w formacie CSV wraz z plikiem model.json , który zawiera schemat dla wszystkich tabel. Twoje dane Sustainability Manager są teraz dostępne na Twoim własnym koncie magazynu.
Krok 2. Połącz kontener Data Lake Storage
W tym kroku połączysz kontener Data Lake Storage z danymi Sustainability Manager z magazynem lakehouse IngestedRawData wdrożonej funkcji przy użyciu funkcji skrótu sieci szkieletowej.
Otwórz obszar roboczy w Fabric, w którym wdrożono rozwiązanie Sustainability. Otwórz rozwiązanie, wybierz je z widoku listy. Wybierz funkcję zasobu danych dotyczących środowiska, odpowiedzialności społecznej i ładu korporacyjnego (ESG) w widoku listy Zarządzanie wdrożonymi możliwościami, aby przejść do strony zarządzanych możliwości.
Na stronie możliwości zarządzanej majątku danych ESG wybierz magazyn lakehouse IngestedRawData .
Wybierz Nowy skrót z menu wielokropka Pliki. W oknie dialogowym Nowy skrót wybierz Azure Data Lake Storage kafelek Gen2, a następnie podaj następujące szczegóły połączenia, aby nawiązać połączenie z kontenerem Data Lake Storage, który zawiera wyeksportowane dane Sustainability Manager.
- Adres URL: przejdź do konta Data Lake Storage. Po lewej stronie wybierz pozycję Punkt końcowy. Następnie skopiuj punkt końcowy dla Data Lake Storage i wklej go w polu Adres URL .
- Połączenie: Wybierz pozycję Utwórz nowe połączenie.
- Rodzaj uwierzytelniania: wybierz pozycję Konto organizacji, zaloguj się do konta Data Lake Storage, a następnie wybierz przycisk Dalej.
Jako nazwę skrótu wpisz MSMData, ustaw ścieżkę podrzędną jako nazwę kontenera zawierającego dane Sustainability Manager z prefiksem /, a następnie wybierz Utwórz. Dane Sustainability Manager zostały pomyślnie zintegrowane z jeziorem danych (data lake) w obszarze Pliki.
Krok 3: Przekształć dane
Po zintegrowaniu danych Menedżera ds. zrównoważonego rozwoju z magazynem lakehouse IngestedRawData należy ujednolicić i zharmonizować dane, przekształcając je w [model danych ESG(.. /esg-model-danych/overview.md)] schemat. Wdrożenie funkcji utworzyło magazyn lakehouse ProcessedESGData w przestrzeni roboczej do przechowywania zharmonizowanych danych.
Schemat modelu danych ESG łączy jednostki danych ESG z innymi jednostkami danych, które opisują inne obszary funkcjonalne firmy, takie jak HR, IT lub produkcja finansowa.
W celu przekształcenia danych Sustainability Manager do schematu modelu danych ESG funkcja zapewnia notesy i potoki danych, które korzystają ze wstępnie utworzonych technologii transformacji i orkiestracji przy użyciu bibliotek przechowywanych w magazynie lakehouse ConfigAndDemoData w obszarze roboczym.
Aktywuj pierwszy krok i uruchom potok danych TransformMSMDataToProcessedESGData_DTPL , aby załadować i przekształcić dane Menedżera ds. zrównoważonego rozwoju do schematu modelu danych ESG w zasobniku wodnym ProcessedESGData .
Potok danych uruchamia następujące kroki:
Ten krok jest domyślnie dezaktywowany i należy go aktywować przed uruchomieniem potoku. Ładuje połączone dane Menedżera zrównoważonego rozwoju jako tabele lakehouse. Biblioteki transformacji wymagają, aby dane źródłowe były w formacie tabeli delta. Notes LoadMSMDataToLakehouseTables_INTB ładuje połączone dane Menedżera ds. zrównoważonego rozwoju do tabel lakehouse. Po pomyślnym wykonaniu tego notesu możesz zweryfikować dane w tabelach IngestedRawData lakehouse.
Transformacja danych Sustainability Managera do schematu modelu danych ESG jest procesem dwuetapowym:
- Najpierw notes TransformMSMDataToProcessedESGData_INTB przekształca Microsoft Sustainability Manager dane w pośrednie tabele importu danych pierwotnych.
- Następnie notes TransformRawImportESGDataToProcessedESGData_INTB przekształca dane z tabel importu danych pierwotnych do schematu modelu danych ESG.