Прием данных с помощью Azure Synapse Link

Статья
12/19/2024

Следуйте инструкциям в этой статье, чтобы перенести данные об окружающей среде вашей организации из модели данных Sustainability Manager в Dataverse IngestedRawData хранилище и озеро данных в рабочей области Fabric с помощью . Azure Synapse Link

Предварительные требования

Разверните возможности экологических данных и аналитики в рабочей области Fabric.
Убедитесь, что Microsoft Sustainability Manager установлен и настроен в вашей Dataverse среде.
Убедитесь, что у вас есть Dataverse система Администратор роль безопасности.
Разверните возможности экологических данных и аналитики в своем рабочем пространстве Fabric.
Убедитесь, что у вас есть учетная запись хранилища Azure Data Lake Storage Gen2.
Убедитесь, что у вас есть Dataverse система Администратор роль безопасности.
Убедитесь, что у вас есть учетная запись Azure Data Lake Storage Gen2 и права доступа к роли владельца и хранилища данных BLOB-объектов участник. В вашей учетной записи хранения должно быть включено иерархическое пространство имен как для первоначальной настройки, так и для дельта-синхронизации. Разрешить доступ к ключу учетной записи хранения требуется только для первоначальной настройки.

Шаг 1. НастройкаAzure Synapse Link

В этом шаг вы настраиваете Azure Synapse Link для среды Sustainability Manager, из которой вы хотите переносить данные в решения по данным об устойчивом развитии в рабочей области Fabric.

Откройте Power Apps портал. В правом верхнем углу выберите Dataverse среду, в которой установлен Sustainability Manager.
Выберите Azure Synapse Link на левой панели, а затем выберите Новая ссылка. Если он еще не появился, выберите Еще, выберите Узнать все, выберите управление данными, а затем выберите Azure Synapse Link.
Снимите флажок Подключение к рабочей области Azure Synapse Analytics. Вы запустите сценарии интеграции и преобразования в Fabric, а не в Synapse.
Введите данные своей учетной записи хранения и подписки и выберите Далее. Вы можете выбрать только учетную запись хранения, расположенную в том же месте, что и среда. Например, если ваша среда находится в западной части США, ваша учетная запись хранения должна находиться в западной части США или в западной части США2.
Выберите все таблицы Sustainability Manager из списка и нажмите «Сохранить». Вы можете фильтровать по msdyn_, чтобы просмотреть соответствующие таблицы.

В вашей учетной записи хранения создается Azure Synapse Link, и выбранные таблицы экспортируются в учетную запись хранения. Вы можете добавлять или удалять таблицы в ссылке, вернувшись к Azure Synapse Link, выбрав созданную вами ссылку, а затем выбрав Управление таблицами.
Откройте свою учетную запись Data Lake Storage Gen2, указанную при создании ссылки на предыдущих этапах. В вашей учетной записи хранения создается новый контейнер, начинающийся с Dataverse- , со всеми выбранными таблицами, экспортированными в структуру папок в формате CSV, а также файл model.json , содержащий схему для всех таблиц. Данные Sustainability Manager теперь доступны в вашей учетной записи хранения.

Шаг 2. Свяжите контейнер Data Lake Storage.

В этом шаг вы связываете контейнер хранилища Data Lake с данными Sustainability Manager с IngestedRawData хранилище и озеро данных развернутой возможности с помощью функциональности сочетания клавиш Fabric.

Откройте рабочую область в Fabric, в которой вы развернули решение для экологической устойчивости. Чтобы открыть решение, выберите его в представлении списка. Выберите возможность управления данными об окружающей среде, социальной сфере и управлении (ESG) в списке «Управление развернутыми возможностями», чтобы перейти на страницу управляемых возможностей.
На странице возможностей управления данными ESG выберите IngestedRawData хранилище и озеро данных.
Выберите Новый ярлык из меню с многоточием в пункте Файлы. В диалоговом окне Новый ярлык выберите плитку Azure Data Lake Storage Gen2, а затем укажите следующие данные подключения для подключения к контейнеру хранилища Data Lake, в котором находятся экспортированные данные Sustainability Manager.
- URL: Перейдите в учетную запись хранилища Data Lake. С левой стороны выберите конечная точка. Затем скопируйте конечную точку для хранилища Data Lake и вставьте ее в поле URL .
- Подключение: Выберите Создать новое подключение.
- Тип аутентификации: Выберите Учетную запись организации, войдите в свою учетную запись хранилища Data Lake, а затем выберите Далее.
В качестве имени ярлыка введите MSMData, задайте дополнительный путь как имя контейнера, содержащего данные Sustainability Manager с префиксом /, а затем выберите Создать. Данные Sustainability Manager успешно интегрированы с озером данных в разделе Файлы.

Шаг 3. Преобразование данных

После интеграции данных Sustainability Manager в IngestedRawData хранилище и озеро данных необходимо унифицировать и гармонизировать данные, преобразовав их в схему модели данных ESG]. Развертывание возможностей создало ProcessedESGData хранилище и озеро данных в рабочей области для хранения согласованных данных.

Схема модели данных ESG связывает сущности данных ESG с другими сущностями данных, которые описывают другие функциональные области компании, такие как HR, IT или финансовое производство.

Для преобразования данных Sustainability Manager в схему модели данных ESG эта возможность предоставляет блокноты и конвейеры данных, которые используют готовые технологии преобразования и оркестровки с использованием библиотек, хранящихся в ConfigAndDemoData хранилище и озеро данных в вашей рабочей области.

Активируйте первый шаг и запустите конвейер данных TransformMSMDataToProcessedESGData_DTPL , чтобы загрузить и преобразовать данные Sustainability Manager в схему модели данных ESG в ProcessedESGData хранилище и озеро данных.

Конвейер данных выполняет следующие шаги:

шаг по умолчанию деактивирован и должен быть активирован перед запуском конвейера. Он загружает связанные данные Sustainability Manager как таблицы хранилище и озеро данных. Библиотеки преобразований требуют, чтобы исходные данные были в формате разностной таблицы. Блокнот LoadMSMDataToLakehouseTables_INTB загружает связанные данные Sustainability Manager в таблицы хранилище и озеро данных. После успешного выполнения этого блокнота вы можете проверить данные в таблицах IngestedRawData хранилище и озеро данных.
Преобразование данных Sustainability Manager в схему модели данных ESG представляет собой двухэтапный процесс:

Сначала блокнот TransformMSMDataToProcessedESGData_INTB преобразует Microsoft Sustainability Manager данные в промежуточные таблицы импорта необработанных данных.
Затем блокнот TransformRawImportESGDataToProcessedESGData_INTB преобразует данные из таблиц импорта необработанных данных в схему модели данных ESG .