Ingestování dat pomocí Azure Synapse Link
Postupujte podle kroků v tomto článku a přeneste environmentální data vaší organizace z Sustainability Manager datového modelu v Dataverse do IngestedRawData transakční jezero ve vašem pracovním prostoru Fabric do pomocí Azure Synapse Link.
Předpoklady
- Nasaďte v pracovním prostoru Fabric schopnost environmentálních dat a přehledů.
- Ujistěte se, že Microsoft Sustainability Manager je nainstalováno a nastaveno ve vašem Dataverse prostředí.
- Ujistěte se, že máte Dataverse správce systému role zabezpečení.
- Nasaďte ve svém pracovním prostoru Fabric funkce environmentálních dat a přehledů.
- Ujistěte se, že máte Azure Data Lake Storage účet úložiště Gen2.
- Ujistěte se, že máte Dataverse správce systému role zabezpečení.
- Ujistěte se, že máte Azure Data Lake Storage účet Gen2 a přístup v roli vlastníka a úložiště dat blob přispěvatel. Váš účet úložiště musí podporovat hierarchický obor názvů pro počáteční nastavení i delta synchronizaci. Povolení přístupu klíče účtu úložiště je vyžadováno pouze pro počáteční nastavení.
Krok 1: Nastavení Azure Synapse Link
V tomto krok nastavíte Azure Synapse Link pro prostředí Sustainability Manager, ze kterého chcete přenést data do datových řešení Sustainability v pracovním prostoru Fabric.
Otevřete portál Power Apps . Vpravo nahoře vyberte své Dataverse prostředí, kde je nainstalován Sustainability Manager.
Vyberte Azure Synapse Link v levém podokně a poté vyberte Nový odkaz. Pokud se ještě nezobrazuje, vyberte Další, vyberte Objevit vše, vyberte a poté vyberte Azure Synapse Link.
Ponechte prázdné políčko Připojit se k pracovnímu prostoru Azure Synapse Analytics. Integrační a transformační skripty spouštíte v prostředí Fabric namísto Synapse.
Zadejte svůj účet úložiště a podrobnosti o předplatném a vyberte Další. Můžete vybrat pouze účet úložiště ve stejném umístění jako vaše prostředí. Pokud je vaše prostředí například v umístění USA – západ, účet úložiště musí být v USA – západ nebo USA – západ2.
Vyberte všechny Sustainability Manager tabulky ze seznamu a vyberte Uložit. Chcete-li zobrazit příslušné tabulky, můžete filtrovat podle msdyn_.
Vytvoří se propojení Azure Synapse Link s vaším účtem úložiště a vybrané tabulky se do něj exportují. Tabulky v odkazu můžete přidat nebo odebrat tak, že se vrátíte na Azure Synapse Link, vyberete odkaz, který jste vytvořili, a poté vyberte Spravovat tabulky.
Otevřete svůj účet Data Lake Storage Gen2 poskytnutý při vytváření odkazu v předchozích krocích. Ve vašem účtu úložiště se vytvoří nový kontejner začínající Dataverse- se všemi vybranými tabulkami exportovanými ve struktuře složek ve formátu CSV spolu s modelem . json soubor, který obsahuje schéma pro všechny tabulky. Vaše data Sustainability Manager jsou nyní k dispozici ve vašem účtu úložiště.
Krok 2: Propojení kontejneru Data Lake Storage
V tomto krok propojíte kontejner Data Lake Storage s daty Sustainability Manager s IngestedRawData transakční jezero nasazené funkce pomocí funkce zástupce Fabric.
Otevřete pracovní prostor ve Fabric, ve kterém jste nasadili řešení Sustainability. Výběrem řešení ze seznamu ho otevřete. Chcete-li se dostat na stránku spravovaných schopností, vyberte možnost environmentálního, sociálního a governance (ESG) datového majetku ze zobrazení seznamu Správa nasazených funkcí.
Na stránce možností správy datového majetku ESG vyberte IngestedRawData transakční jezero.
Z nabídky se třemi tečkami Soubory vyberte Nový zástupce. V dialogovém okně Nový zástupce vyberte dlaždici Azure Data Lake Storage Gen2 a poté zadejte následující podrobnosti o připojení pro připojení ke kontejneru Data Lake Storage, který má exportovaná data Sustainability Manager.
- URL: Přejděte na Data Lake účet úložiště. Na levé straně vyberte koncový bod. Poté zkopírujte koncový bod pro Data Lake Storage a vložte jej do pole URL .
- Připojení: Vyberte Vytvořit nové připojení.
- Druh autentizace: Vyberte Účet organizace, přihlaste se ke svému účtu Data Lake Storage a poté vyberte Další.
Jako název zástupce zadejte MSMData, dílčí cestu nastavte jako název kontejneru, který obsahuje data Sustainability Manager, s předponou / a poté vyberte Vytvořit. Data Sustainability Manager jsou úspěšně integrována s datovým jezerem v sekci Soubory.
Krok 3: Transformace dat
Poté, co se Sustainability Manager data integrují do IngestedRawData transakční jezero, musíte data sjednotit a harmonizovat jejich transformací do datového modelu ESG] schéma. Nasazení schopností vytvořilo ProcessedESGData transakční jezero v pracovním prostoru pro ukládání harmonizovaných dat.
Schéma datového modelu ESG propojuje datové entity ESG s jinými datovými entitami, které popisují další funkční oblasti společnosti, jako je HR, IT nebo finanční produkce.
Pro transformaci dat Sustainability Manager na schéma datový model ESG tato funkce poskytuje notebooky a datové kanály, které využívají předpřipravené technologie transformace a orchestrace pomocí knihoven uložených v ConfigAndDemoData transakční jezero ve vašem pracovním prostoru.
Aktivujte první krok a spusťte TransformMSMDataToProcessedESGData_DTPL datový kanál pro načtení a transformaci dat Sustainability Manager na datový model ESG schéma v the Zpracovaná ESGData transakční jezero.
Datový kanál provádí tyto kroky:
Toto krok je ve výchozím nastavení deaktivováno a musí být aktivováno před spuštěním kanálu. Načte propojená data Sustainability Manager jako transakční jezero tabulky. Transformační knihovny vyžadují, aby zdrojová data byla ve formátu delta tabulky. Notebook LoadMSMDataToLakehouseTables_INTB načte propojená data Sustainability Manager do tabulek transakční jezero. Po úspěšném spuštění tohoto zápisníku můžete ověřit data v tabulkách IngestedRawData transakční jezero.
Transformace dat Sustainability Manager na schéma datový model ESG je dvoufázový proces:
- Nejprve TransformMSMDataToProcessedESGData_INTB notebook transformuje Microsoft Sustainability Manager data na zprostředkující tabulky importu nezpracovaných dat.
- Poté notebook TransformRawImportESGDataToProcessedESGData_INTB převede data z tabulek importu nezpracovaných dat na schéma ESG datový model .
