Поделиться через

Создание Azure Synapse Link для Dataverse с помощью Azure Data Lake

  • Статья

Вы можете использовать Azure Synapse Link, чтобы подключить свои данные Microsoft Dataverse к Azure Data Lake Storage Gen2 для различных сценариев аналитики. В этой статье показано, как выполнить следующие задачи:

  1. Подключите свои данные Dataverse к вашей учетной записи Azure Data Lake Storage Gen2 с помощью службы Azure Synapse Link.
  2. Управляйте таблицами Dataverse, включенным в Azure Synapse Link.
  3. Следите за своим Azure Synapse Link.
  4. Отмените связь своего Azure Synapse Link.
  5. Повторно свяжите свой Azure Synapse Link.
  6. Просматривайте свои данные в Azure Data Lake и поймите файловую структуру.

Заметка

Azure Synapse Link для Dataverse ранее называлось "Экспорт в озеро данных". Служба была переименована в мае 2021 года и будет продолжать экспортировать данные в Azure Data Lake, а также в Azure Synapse Analytics.

Предварительные условия

  • Azure Data Lake Storage Gen2: у вас должна быть учетная запись Azure Data Lake Storage Gen2 и доступ с ролью Владелец и Участник данных хранилища BLOB-объектов. В вашей учетной записи хранения должно быть включено Иерархическое пространство имен как для первоначальной настройки, так и для дельта-синхронизации. Разрешить доступ к ключу учетной записи хранения требуется только для первоначальной настройки.

Заметка

  • Учетная запись хранения необходимо создавать в том же клиенте Microsoft Entra, что и ваш клиент Power Apps.
  • Чтобы задать параметр Включено с выбранных виртуальных сетей и IP-адресов для связанной учетной записи хранения, чтобы предоставлять доступ с выбранных IP-адресов, необходимо создать Azure Synapse Link с управляемыми удостоверениями. Использование управляемых удостоверений для Azure с вашим хранилищем Azure Data Lake Storage (без настройки управляемых удостоверений необходимо включить доступ к общедоступной сети для ресурсов Azure как для первоначальной настройки, так и для разностной синхронизации.)
  • Настоятельно рекомендуется включить функцию обратимого удаления в выбранной для этой цели учетной записи хранения. Включение обратимого удаления позволяет быстрее восстанавливаться после случайного удаления данных.
  • Вы должны иметь доступ роли Читатель к группе ресурсов с учетной записью хранения.
  • Чтобы связать среду с Azure Data Lake Storage 2-го поколения, у вас должен быть система роль безопасности системного администратора Dataverse.
  • Только таблицы, для которых включено отслеживание изменений, можно экспортировать.
  • Создание профилей Azure Synapse Link в одной среде Dataverse ограничено максимум 10.

Подключите Dataverse к Azure Data Lake Storage Gen2

  1. Войдите в Power Apps и выберите предпочитаемую среду.

  2. В левой области переходов выберите Azure Synapse Link. Если Azure Synapse Link не отображается на боковой панели, выберите ...Еще и выберите Обнаружить все. Azure Synapse Link находится в разделе Управление данными.

  3. Выберите Создать связь с озером данных на панели команд.

  4. Выберите Подписка, Группа ресурсов и Учетная запись хранения. Убедитесь, что учетная запись хранения соответствует требованиям, указанным в разделе Предварительные условия. Выберите Далее.

    Заметка

    В рамках связывания среды с озером данных вы предоставляете доступ службы Azure Synapse Link к вашей учетной записи хранения. Убедитесь, что вы следовали необходимых условиям создания и настройки учетной записи Azure Data Lake Storage и предоставления вам роли владельца в учетной записи хранения. Кроме того, вы предоставляете службе потоков данных Power Platform доступ к вашей учетной записи хранения. Дополнительные сведения: Самостоятельная подготовка данных с потоками данных.

  5. Добавьте таблицы, которые хотите экспортировать, а затем выберите Сохранить. Только таблицы с включенным отслеживанием изменений можно экспортировать. Дополнительные сведения: Включение отслеживания изменений.

    Выберите таблицы для экспорта.

Вы можете выполнить описанные в этой статье шаги, чтобы создать ссылку из одной среды в несколько озер Azure Data Lake в вашей подписке Azure. Аналогично вы можете создать ссылку из нескольких сред в одно и то же Azure Data Lake, все в одном клиенте.

Заметка

Служба Azure Synapse Link для Dataverse легко интегрируется в Power Platform как готовая функция. Оно соответствует стандартам безопасности и управления, установленным для хранения данных и управления в Power Platform. Дополнительная информация: Хранение данных и управление

Данные, экспортируемые службой Azure Synapse Link, шифруются при передаче с использованием протокола TLS 1.2 или более поздней версии и шифруются при хранении в Azure Data Lake Storage 2-го поколения. Кроме того, временные данные в хранилище BLOB-объектов также зашифрованы в неактивном состоянии. Шифрование в Azure Data Lake Storage 2-го поколения помогает защитить ваши данные, внедрить корпоративные политики безопасности и соответствовать нормативным требованиям. Дополнительные сведения: Шифрование данных Azure в неактивном состоянии

Управление данными таблицы в Data Lake

После того, как вы настроили Azure Synapse Link, вы можете управлять экспортируемыми таблицами одним из двух способов:

  • На портале создателя Power Apps Maker Portal в области Azure Synapse Link выберите Управление таблицами на панели команд, чтобы добавить или удалить одну или несколько связанных таблиц.

  • В области Таблицы портала создателей Power Apps Maker Portal выберите ... рядом с таблицей, затем выберите связанное озеро данных, в которое требуется экспортировать данные таблицы.

    Выберите таблицу для экспорта.

После настройки Azure Synapse Link вы можете контролировать Azure Synapse Link на вкладке Таблицы.

Мониторинг Azure Synapse Link

  • Появится список таблиц, которые являются частью выбранных Azure Synapse Link.
  • Статус синхронизации проходит на разных этапах. NotStarted указывает, что таблица ожидает синхронизации. После того, как начальная синхронизация таблицы Завершена, начинается этап последующей обработки, на котором добавочные обновления не выполняются. В зависимости от размера ваших данных это может занять несколько часов. По мере начала добавочных обновлений дата последней синхронизации будет регулярно обновляться.
  • Столбец Подсчет показывает количество записанных строк. Когда для Только добавление задано Нет, это общее количество записей. Когда для Только добавление задано Да, это общее количество изменений.
  • В столбцах Только добавление и Стратегия секционирования показано использование различных дополнительных конфигураций.

  1. Выберите желаемый Azure Synapse Link, чтобы разорвать связь.

  2. Выберите Отменить связь озера данных на панели команд.

  3. Чтобы удалить как файловую систему озера данных, выберите Удалить файловую систему озера данных.

  4. Выберите Да и подождите несколько минут, чтобы все было отключено и удалено.

Если вы удалили файловую систему при отмене связи, выполните описанные выше действия, чтобы повторно связать то же озеро данных. Если вы не удалили файловую систему при отмене связи, необходимо очистить данные для повторного связывания:

  1. Перейдите к Azure Data Lake.

  2. Удалите контейнер Dataverse.

  3. Перейдите к Power Apps и снова свяжите озеро данных.

Просмотр ваших данных в Azure Data Lake Storage 2-го поколения

  1. Выберите желаемый Azure Synapse Link и выберите Перейти к озеру данных Azure на верхней панели.

  2. Разверните Файловые системы, а затем выберите dataverse-environmentName-organizationUniqueName.

Файл model.json вместе с его именем и версией содержит список таблиц, которые были экспортированы в Data Lake. Файл model.json также содержит начальный статус синхронизации и время завершения синхронизации.

Папка, содержащая файлы моментальных снимков с разделителями-запятыми (формат CSV), отображается для каждой таблицы, экспортируемой в Data Lake. Данные таблицы в озере данных.

  1. В адресной строке веб-браузера добавьте ?athena.updateLake=true к веб-адресу, который заканчивается на exporttodatalake.

  2. Выберите существующий профиль из области Azure Synapse Link, затем выберите расширенный параметр.

  3. Выберите Связать с рабочей областью Azure Synapse Analytics и подождите несколько минут, чтобы все связалось.

Постоянные обновления снимков

Данные Microsoft Dataverse могут непрерывно изменяться посредством транзакций создания, обновления и удаления. Снимки предоставляют доступную только для чтения копию данных, которая обновляется через регулярные интервалы, в данном случае каждый час. Это гарантирует, что в любой данный момент потребитель данных аналитики может надежно использовать данные в озере.

Постоянные обновления снимков.

Когда таблицы добавляются как часть первоначального экспорта, данные таблицы записываются в файлы table.csv в соответствующих папках в Data Lake. Это интервал T1, в котором файл моментального снимка только для чтения с именем таблица-T1.csv — например, Account-T1.csv или Contacts-T1.csv — создан. Кроме того, файл model.json обновляется, чтобы указывать на эти файлы снимков. Открыв файл model.json, вы можете просмотреть детали снимка.

Вот пример разделенного файла Account.csv и папки снимков в Data Lake.

Моментальный снимок таблицы организаций.

Изменения в Dataverse непрерывно передаются в соответствующие файлы CSV с помощью механизма струйной подачи. Это интервал T2, где делается еще один снимок. таблица-T2.csv — например, Accounts-T2.csv или Contacts-T2.csv (при условии, что в таблице есть изменения) — и model.json обновляются до новых файлов моментальных снимков. Любой новый человек, который просматривает данные снимка с T2 и далее, направляется на новые файлы снимков. Таким образом, исходный пользователь, просматривающий снимок, может продолжать работать с более старыми файлами снимков T1, в то время как новый просматривающий пользователь может читать последние обновления. Это полезно в сценариях с более длительными процессами в нисходящем направлении.

Заметка

Новый файл моментального снимка создается только в случае обновления данных. Сохраняются только последние пять файлов моментальных снимков. Стагнирующие данные автоматически удаляются из вашей учетной записи Azure Data Lake Storage 2-го поколения.

Вот пример файла model.json, который всегда указывает на файл снимка организации с новейшей отметкой времени.

Пример файла снимка model.json.

Дальнейшие действия

После успешного использования службы Azure Synapse Link для Dataverse узнайте, как анализировать и использовать свои данные в Центре обнаружения. Чтобы получить доступ к Центру обнаружения, перейдите к Power Apps>Azure Synapse Link. Выберите связанный сервис, затем выберите вкладку Центр обнаружения. Здесь вы можете найти рекомендуемые инструменты и тщательно подобранную документацию, которые помогут вам извлечь максимальную пользу из ваших данных. Центр обнаружения.

См. также

Анализ данных Dataverse в озере данных с Power BI

Принятие данных Dataverse в озере данных с помощью фабрики данных Azure

Расширенная конфигурация Azure Synapse Link для Dataverse

Azure SynapseFAQ-адрес ссылки