Создать ярлык для Dataverse окружения

Статья
12/19/2024

Следуйте инструкциям в этой статье, чтобы создать и использовать Dataverse ярлык для интеграции Microsoft Sustainability Manager данных в рабочую область Fabric. Эти шаги также подготавливают данные для преобразования в схему модели данных по окружающей среде, социальной сфере и управлению (ESG).

Предварительные требования

Разверните возможности экологических данных и аналитики в рабочей области Fabric.
Убедитесь, что Sustainability Manager установлен и настроен в вашей Dataverse среде.
Убедитесь, что у вас есть Dataverse система Администратор роль безопасности.
Убедитесь, что вы являетесь Администратор рабочего пространства Fabric.
Включите ссылку на Fabric из Dataverse среды.

шаг 1: Создать Dataverse ярлык

В этом шаг вы создаете ярлык для Dataverse среды, в которой присутствуют данные Sustainability Manager из IngestedRawData хранилище и озеро данных.

Откройте рабочую область в Fabric, в которой вы развернули решение для экологической устойчивости. Чтобы открыть решение, выберите его в представлении списка. Чтобы перейти на страницу управляемых возможностей, выберите возможность управления данными ESG в списке Управление развернутыми возможностями .
На странице возможностей управления данными ESG выберите IngestedRawData хранилище и озеро данных.

В хранилище и озеро данных выберите Получить данные, а затем выберите Новый ярлык.

Выберите Dataverse в качестве типа сочетания клавиш.
Появится мастер для настройки учетных данных подключения для Dataverse среды. Выберите Создать новое подключение и укажите URL-адрес среды и учетные данные с системными разрешениями Администратор. Fabric использует эти учетные данные для настройки подключения к Dataverse среде и безопасного доступа к данным.

Выберите все таблицы Sustainability Manager из списка, а затем нажмите Далее. Найдите таблицы, начинающиеся с префикса msdyn_.

Появится список выбранных таблиц Sustainability Manager и их ярлыков.

Каждый ярлык создается с суффиксом _partitioned. Чтобы удалить суффикс из всех имен таблиц, можно создать блокнот, добавить в него IngestedRawData хранилище и озеро данных, а затем выполнить следующую логику. Замените «[LAKEHOUSE_NAME]» на имя хранилище и озеро данных, содержащее Dataverse сочетания клавиш для таблицы. Например, SDS_ESGDE_test_IngestedRawData_LH.

TARGET_DB = "[LAKEHOUSE_NAME]"
DATAVERSE_SHORTCUT_SUFFIX = "_partitioned"

for table in spark.catalog.listTables(TARGET_DB):
    if table.name.endswith(DATAVERSE_SHORTCUT_SUFFIX):
        updated_table_name = table.name.removesuffix(DATAVERSE_SHORTCUT_SUFFIX)
        try:
            spark.sql(f"ALTER TABLE {TARGET_DB}.{table.name} RENAME TO {TARGET_DB}.{updated_table_name}")
            print(f"Successfully renamed table from '{table.name}' to '{updated_table_name}' in Lakehouse '{TARGET_DB}'")
        except Exception as e:
            print(f"Failed renaming table from '{table.name}' to '{updated_table_name}' in Lakehouse '{TARGET_DB}'")

Таблицы теперь доступны в IngestedRawData хранилище и озеро данных и готовы к преобразованию в модель данных ESG.

Шаг 2. Преобразование данных

После интеграции данных Sustainability Manager в IngestedRawData хранилище и озеро данных необходимо унифицировать и гармонизировать данные, преобразовав их в схему модели данных ESG . Развертывание возможностей создало ProcessedESGData хранилище и озеро данных в рабочей области для хранения согласованных данных.

Схема модели данных ESG связывает сущности данных ESG с другими сущностями данных, которые описывают другие функциональные области компании, такие как HR, IT или финансовое производство.

Для преобразования данных Sustainability Manager в схему модели данных ESG эта возможность предоставляет блокноты и конвейеры данных, которые используют готовые технологии преобразования и оркестровки с использованием библиотек, хранящихся в ConfigAndDemoData хранилище и озеро данных в вашей рабочей области.

Запустите блокнот LoadReferenceTables_INTB , чтобы загрузить и преобразовать данные Sustainability Manager в схему модели данных ESG в ProcessedESGData хранилище и озеро данных.

Конвейер данных выполняет следующие шаги:

Первый шаг по умолчанию деактивирован и не требуется для этого метода, поскольку данные из Sustainability Manager уже загружены как таблицы хранилище и озеро данных.
Преобразование данных Sustainability Manager в схему модели данных ESG представляет собой двухэтапный процесс:

Сначала блокнот TransformMSMDataToProcessedESGData_INTB преобразует Microsoft Sustainability Manager данные в промежуточные таблицы импорта необработанных данных.
Затем блокнот TransformRawImportESGDataToProcessedESGData_INTB преобразует данные из таблиц импорта необработанных данных в схему модели данных ESG .