Crea un collegamento a Dataverse ambiente
Seguire i passaggi descritti in questo articolo per creare e utilizzare una Dataverse scorciatoia per integrare Microsoft Sustainability Manager i dati nell'area di lavoro Fabric. Questi passaggi preparano anche i dati per la trasformazione nello schema del modello di dati ambientali, sociali e di governance (ESG).
Prerequisiti
- Distribuisci la funzionalità di dati e approfondimenti ambientali nell'area di lavoro Fabric.
- Assicurati che Sustainability Manager sia installato e configurato nel tuo Dataverse ambiente.
- Assicurati di avere il sistema amministratore ruolo di sicurezza. Dataverse
- Assicurati di essere un amministratore dell'area di lavoro Fabric.
- Abilita collegare su Fabric da Dataverse ambiente.
Passaggio 1: Crea una scorciatoia Dataverse
In questo passaggio, crei un collegamento a Dataverse ambiente dove i dati Sustainability Manager sono presenti da IngestedRawData lakehouse.
Apri l'area di lavoro in Fabric in cui hai distribuito la soluzione di sostenibilità. Per aprire la soluzione, selezionala nella visualizzazione elenco. Per accedere alla pagina delle capacità gestite, Seleziona la capacità del patrimonio dati ESG dalla vista elenco Gestisci capacità distribuite .
Dalla pagina delle funzionalità gestite dal patrimonio dati ESG, Seleziona the IngestedRawData lakehouse.
- Da lakehouse, Seleziona Ottieni dati, quindi Seleziona Nuovo collegamento.
Seleziona Dataverse come tipo di scorciatoia.
Verrà visualizzata una procedura guidata per impostare le credenziali di connessione per Dataverse ambiente. Seleziona Crea una nuova connessione e fornisci l'URL ambiente e le credenziali con i permessi di sistema amministratore. Fabric utilizza queste credenziali per impostare la connessione a Dataverse ambiente e accedere in modo sicuro ai dati.
- Seleziona tutto le tabelle Sustainability Manager dall'elenco, quindi Seleziona Avanti. Cerca le tabelle che iniziano con il prefisso msdyn_.
- Viene visualizzato l'elenco delle tabelle Sustainability Manager selezionate e i relativi nomi di scelta rapida.
Ogni collegamento viene creato con il suffisso _partitioned. Per rimuovere il suffisso da tutti i nomi delle tabelle, puoi creare un notebook, aggiungere IngestedRawData lakehouse al notebook, quindi eseguire la seguente logica. Sostituisci "[LAKEHOUSE_NAME]" con il nome lakehouse che contiene i collegamenti alla tabella. Dataverse Ad esempio, SDS_ESGDE_test_IngestedRawData_LH.
TARGET_DB = "[LAKEHOUSE_NAME]"
DATAVERSE_SHORTCUT_SUFFIX = "_partitioned"
for table in spark.catalog.listTables(TARGET_DB):
if table.name.endswith(DATAVERSE_SHORTCUT_SUFFIX):
updated_table_name = table.name.removesuffix(DATAVERSE_SHORTCUT_SUFFIX)
try:
spark.sql(f"ALTER TABLE {TARGET_DB}.{table.name} RENAME TO {TARGET_DB}.{updated_table_name}")
print(f"Successfully renamed table from '{table.name}' to '{updated_table_name}' in Lakehouse '{TARGET_DB}'")
except Exception as e:
print(f"Failed renaming table from '{table.name}' to '{updated_table_name}' in Lakehouse '{TARGET_DB}'")
Le tabelle sono ora disponibili in IngestedRawData lakehouse e sono pronte per essere trasformate nel modello di dati ESG.
Passaggio 2: trasformare i dati
Dopo che i dati Sustainability Manager si sono integrati in IngestedRawData lakehouse, è necessario unificare e armonizzare i dati trasformandoli nello schema del modello di dati ESG . L'implementazione delle capacità ha creato ProcessedESGData lakehouse nell'area di lavoro per l'archiviazione dei dati armonizzati.
Lo schema del modello di dati ESG collega le entità di dati ESG ad altre entità di dati che descrivono altre aree funzionali di un'azienda, come risorse umane, IT o produzione finanziaria. ...
Per trasformare i dati Sustainability Manager nello schema del modello di dati ESG, la funzionalità fornisce notebook e pipeline di dati che utilizzano tecnologie di trasformazione e orchestrazione predefinite mediante librerie archiviate in ConfigAndDemoData lakehouse nell'area di lavoro. ...
Eseguire il notebook LoadReferenceTables_INTB per caricare e trasformare i dati Sustainability Manager nello schema del modello di dati ESG in ProcessedESGData lakehouse.
La pipeline dei dati esegue i seguenti passaggi:
Il primo passaggio è disattivato per impostazione predefinita e non è necessario per questo metodo, perché i dati da Sustainability Manager sono già caricati come tabelle lakehouse.
La trasformazione dei dati Sustainability Manager nello schema del modello di dati ESG è un processo in due fasi: ...
- Innanzitutto, il notebook TransformMSMDataToProcessedESGData_INTB trasforma i dati nelle tabelle di importazione dei dati grezzi intermedi. Microsoft Sustainability Manager
- Quindi, il notebook TransformRawImportESGDataToProcessedESGData_INTB trasforma i dati dalle tabelle di importazione dei dati grezzi allo schema del modello di dati ESG .
