Tworzenie skrótu do Dataverse środowiska

Artykuł
11/14/2024

Wykonaj czynności opisane w tym artykule, aby utworzyć skrót do integrowania Dataverse danych z obszarem roboczym sieci szkieletowej Microsoft Sustainability Manager i używać go. Te kroki przygotowują również dane do przekształcenia w schemat modelu danych ESG (Environmental, Social, and Governance).

Wymagania wstępne

Wdróż funkcję Dane środowiskowe i szczegółowe informacje w obszarze roboczym sieci szkieletowej.
Upewnij się, że Sustainability Manager jest zainstalowany i skonfigurowany w Twoim Dataverse środowisku.
Upewnij się, że system jest Dataverse Administrator rola zabezpieczeń.
Upewnij się, że jesteś administratorem obszaru roboczego sieci szkieletowej.
Włącz połączenie z siecią szkieletową Dataverse ze środowiska.

Krok 1: Utwórz Dataverse skrót

W tym kroku utworzysz skrót do Dataverse środowiska, w którym znajdują się dane Menedżera zrównoważonego rozwoju z magazynu lakehouse IngestedRawData .

Otwórz obszar roboczy w Fabric, w którym wdrożono rozwiązanie Sustainability. Otwórz rozwiązanie, wybierz je z widoku listy. Aby przejść do strony możliwości zarządzanych, wybierz funkcję ESG Data Estate (Zasób danych ESG) z widoku listy Zarządzanie wdrożonymi możliwościami .
Na stronie Zarządzana infrastruktura danych ESG wybierz magazyn lakehouse IngestedRawData .

W magazyn lakehouse wybierz pozycję Pobierz dane, a następnie wybierz pozycję Nowy skrót.

Wybierz Dataverse jako typ skrótu.
Zostanie wyświetlony kreator w celu skonfigurowania poświadczeń połączenia dla Dataverse środowiska. Wybierz pozycję Utwórz nowe połączenie i podaj adres URL środowiska oraz poświadczenia z uprawnieniami administratora systemu. Sieć szkieletowa używa tych poświadczeń do skonfigurowania połączenia ze Dataverse środowiskiem i bezpiecznego uzyskiwania dostępu do danych.

Wybierz z listy wszystkie tabele Menedżer zrównoważonego rozwoju, a następnie wybierz przycisk Dalej. Poszukaj tabel rozpoczynających się od prefiksu msdyn_.

Zostanie wyświetlona lista wybranych tabel Menedżera zrównoważonego rozwoju wraz z nazwami skrótów.

Każdy skrót jest tworzony z sufiksem _partitioned. Aby usunąć sufiks ze wszystkich nazw tabel, możesz utworzyć notes, dodać magazyn lakehouse IngestedRawData ) do notesu, a następnie uruchomić następującą logikę. Zastąp ciąg "[LAKEHOUSE_NAME]" nazwą magazyn lakehouse, która zawiera skróty do tabel. Dataverse Na przykład SDS_ESGDE_test_IngestedRawData_LH.

TARGET_DB = "[LAKEHOUSE_NAME]"
DATAVERSE_SHORTCUT_SUFFIX = "_partitioned"

for table in spark.catalog.listTables(TARGET_DB):
    if table.name.endswith(DATAVERSE_SHORTCUT_SUFFIX):
        updated_table_name = table.name.removesuffix(DATAVERSE_SHORTCUT_SUFFIX)
        try:
            spark.sql(f"ALTER TABLE {TARGET_DB}.{table.name} RENAME TO {TARGET_DB}.{updated_table_name}")
            print(f"Successfully renamed table from '{table.name}' to '{updated_table_name}' in Lakehouse '{TARGET_DB}'")
        except Exception as e:
            print(f"Failed renaming table from '{table.name}' to '{updated_table_name}' in Lakehouse '{TARGET_DB}'")

Tabele są teraz dostępne w magazynie lakehouse IngestedRawData i są gotowe do przekształcenia w model danych ESG.

Krok 2: Przekształć dane

Po zintegrowaniu danych Menedżera ds. zrównoważonego rozwoju z magazyn lakehouse IngestedRawData należy ujednolicić i zharmonizować dane, przekształcając je w schemat modelu danych ESG. Wdrożenie funkcji utworzyło magazyn lakehouse ProcessedESGData w przestrzeni roboczej do przechowywania zharmonizowanych danych.

Schemat modelu danych ESG łączy jednostki danych ESG z innymi jednostkami danych, które opisują inne obszary funkcjonalne firmy, takie jak HR, IT lub produkcja finansowa.

W celu przekształcenia danych Menedżera zrównoważonego rozwoju do schematu modelu danych ESG funkcja zapewnia notesy i potoki danych, które korzystają ze wstępnie utworzonych technologii transformacji i orkiestracji przy użyciu bibliotek przechowywanych w magazynie lakehouse ConfigAndDemoData w obszarze roboczym.

Uruchom notes LoadReferenceTables_INTB , aby załadować i przekształcić dane Menedżera ds. zrównoważonego rozwoju do schematu modelu danych ESG w ProcessedESGData magazyn lakehouse.

Potok danych uruchamia następujące kroki:

Pierwszy krok jest domyślnie dezaktywowany i nie jest wymagany dla tej metody, ponieważ dane z Sustainability Manager są już załadowane jako tabele magazynu lakehouse.
Transformacja danych Sustainability Managera do schematu modelu danych ESG jest procesem dwuetapowym:

Najpierw notes TransformMSMDataToProcessedESGData_INTB przekształca Microsoft Sustainability Manager dane w pośrednie tabele importu danych pierwotnych.
Następnie notes TransformRawImportESGDataToProcessedESGData_INTB przekształca dane z tabel importu danych pierwotnych do schematu modelu danych ESG.