共用方式為


使用 Azure Data Lake 建立 Azure Synapse Link for Dataverse

您可使用 Azure Synapse Link 將 Microsoft Dataverse 資料連接至 Azure Data Lake Storage Gen2,以啟用各種分析案例。 本文章將說明如何執行下列工作:

  1. 使用 Azure Synapse Link 服務,將 Dataverse資料連接至 Azure Data Lake Storage Gen2 帳戶。
  2. 管理 Azure Synapse Link 中包含的 Dataverse 資料表。
  3. 監視 Azure Synapse Link。
  4. 解除 Azure Synapse Link 連結。
  5. 重新連結 Azure Synapse Link。
  6. 查看 Azure Data Lake 中的資料,並了解檔案架構。

注意

Azure Synapse Link for Dataverse 先前稱為「匯出至資料湖」。 服務的重新命名已在 2021 年 5 月生效,並將繼續匯出資料至 Azure Data Lake 以及 Azure Synapse Analytics。

先決條件

  • Azure Data Lake Storage Gen2:您必須擁有 Azure Data Lake Storage Gen2 帳戶和 擁有者Storage Blob 資料參與者角色存取權。 您的儲存體帳戶必須啟用初始安裝和增量同步的階層命名空間。只有初始安裝需要允許儲存體帳戶金鑰存取

注意

  • 儲存體帳戶必須是在與您 Power Apps 用戶相同的 Microsoft Entra 用戶中所建立。
  • 若要設定已連結儲存體帳戶的已從選取的虛擬網路和 IP 位址啟用以從選取的 IP 位址授與存取權,您必須使用受控識別建立 Azure Synapse Link。將 Azure 的受控識別與 Azure Data Lake Storage 搭配使用 (如果未設定受控識別,則必須啟用 Azure 資源的公用網路存取,才能進行初始設定和差異同步)。
  • 強烈建議您在為此目的選擇的儲存體帳戶上啟用虛刪除功能。 啟用虛刪除可讓您更快速地復原意外的資料刪除。
  • 您必須具備儲存體帳戶的資源群組讀者角色存取權。
  • 若要將環境連結至 Azure Data Lake Storage Gen2,您必須擁有 Dataverse 系統管理員資訊安全角色。
  • 只有已啟用變更追蹤的表格可匯出。
  • 在單一 Dataverse 環境下建立的 Azure Synapse Link 設定檔限制為最多 10 個。

將 Dataverse 連接至 Azure Data Lake Storage Gen2

  1. 登入 Power Apps並選取您喜歡的環境。

  2. 在左側導覽窗格中,選取 Azure Synapse Link。 如果可在側邊面板窗格中看見 Azure Synapse Link,則選取 … 更多,然後選取探索全部Azure Synapse Link 位於資料管理區段中。

  3. 在命令列,選取 + 新的資料湖連結

  4. 選取訂閱資源群組,和儲存體帳戶。 請確定儲存體帳戶符合先決條件區段中指定的要求 。 選取下一步

    注意

    在將環境連結至資料湖的過程中,您會授與 Azure Synapse Link 服務存取您的儲存體帳戶的權限。 確定您已遵循建立和設定 Azure Data Lake Storage 帳戶的先決條件,並授與您自己在儲存體帳戶上的擁有者角色。 此外,您還會將 Power Platform 資料流程服務存取權限授與您的儲存體帳戶。 其他資訊:使用資料流程的自助資料準備

  5. 新增想要匯出的資料表,然後選取儲存。 只有已啟用變更追蹤的表格可匯出。 其他資訊:啟用變更追蹤

    選取要匯出的資料表。

您可以依照本文中步驟,在您的 Azure 訂閱中建立從一個環境連至多個 Azure 資料湖的連結。 同樣地,您可以在同一租用戶內,建立從多個環境到同一 Azure Data Lake 的連結。

注意

Azure Synapse Link for Dataverse 服務已做為現成可用的功能緊密整合至 Power Platform 中。 它符合為 Power Platform 資料儲存體和治理設定的安全性與治理標準。 其他資訊:資料儲存體和治理

Azure Synapse Link 服務匯出的資料在傳輸時使用傳輸層安全性 (TLS) 1.2 或更新版本進行加密,並在 Azure Data Lake Storage Gen2 中待用時進行加密。 此外,blob 儲存體中的暫時性數據也會加密待用。 Azure Data Lake Storage Gen2 中的加密協助您保護資料、實施企業資訊安全性原則及符合法規合規性需求。 其他資訊:Azure 資料加密待用

將表格資料管理至 data lake

設定 Azure Synapse Link 之後,您可以使用下列兩種方式之一來管理匯出的資料表:

  • 在 Power Apps Maker Portal Azure Synapse Link 區域中,選取命令列上的管理資料表,以新增或移除一個或多個連結資料表。

  • 在 Power Apps Maker Portal 資料表區域中,選擇 ...,然後選擇要匯出資料表資料的連結資料湖。

    選取要匯出的資料表。

設定 Azure Synapse Link 之後,您可以在資料表索引標籤下監視 Azure Synapse Link。

Azure Synapse Link 監視

  • 將會有一份資料表清單,其中的資料表是所選 Azure Synapse Link 的一部分。
  • 同步狀態將會在不同階段循環進行。 NotStarted 表示該資料表正在等待同步處理。 表格初始同步完成時,將會有一個後續處理階段,不會發生累加式更新。 這可能需要幾個小時,需視資料大小而定。 當累加式更新開始進行時,將會定期更新上次同步的日期。
  • 計數資料行顯示寫入的列數。 當限附加設為時,這為記錄的總數。 當限附加設為時,這為變更的總數。
  • 僅附加分割策略資料行會顯示不同進階設定的使用方式。
  1. 選取要取消連結的 Azure Synapse Link。

  2. 從命令列中選取取消連結資料湖

  3. 若要同時刪除資料湖檔案系統,請選取刪除資料湖檔案系統

  4. 選取,並等待幾分鐘完成全部取消連結並刪除。

如果在解除連結時刪除了檔案系統,請依照上述步驟重新連結相同的資料湖。 如果在取消連結時未刪除檔案系統,則必須清除資料才能重新連結:

  1. 移至 Azure Data Lake。

  2. 刪除 Dataverse 容器。

  3. 移至 Power Apps,並重新連結資料湖。

檢視您在 Azure Data Lake Storage Gen2 中的資料

  1. 選取所需的 Azure Synapse Link,然後從頂端面板選取移至 Azure Data Lake

  2. 展開檔案系統,然後選取 dataverse-environmentName-organizationUniqueName

model.json 檔案及其名稱和版本,提供已匯出至 data lake 的表格清單。 model.json 檔案也包含初始同步狀態和同步完成時間。

對於匯出至 data lake 的每個表格,會顯示包含快照逗點分隔(CSV 格式)檔的資料夾。 資料湖中的資料表資料。

  1. 在網頁瀏覽器網址列中,將 ?athena.updateLake=true 附加至以 exporttodatalake 結尾的網址。

  2. 選取 Azure Synapse Link 區域中的現有設定檔,然後選取擴充選項。

  3. 選取連結至 Azure Synapse Analytics 工作區,並等待幾分鐘完成所有連結。

持續快照集更新

Microsoft Dataverse 資料可以透過建立、更新和刪除交易持續變更。 快照集會提供按定期間隔 (在此案例中是每隔一小時) 更新的唯讀資料複本。 這可確保在任何指定的時間點,資料分析消費者都能可靠地取用 Data Lake 中的資料。

持續快照集更新。

將表格新增為初始匯出的一部分時,表格資料會寫入 data lake 對應資料夾下的 table .csv 檔案。 這是 T1 間隔,其中已建立名為 資料表-T1.csv 的快照唯讀檔案,例如 Account-T1 或 Contacts-T1.csv。 此外,還會將 model.json 檔案更新為指向這些快照集檔案。 您可以開啟 model. json 來檢視快照集詳細資料。

以下是 Data Lake 中的 Account .csv 分割檔案及快照集資料夾範例。

帳戶資料表快照。

Dataverse 中的變更會使用滴流摘要引擎持續發送至對應的 CSV 檔案。 這是擷取另一個快照集的 T2 間隔。 資料表-T2.csv — 例如 Accounts-T2 或 Contacts-T2 .csv (假設資料表有變更) — 和 model.json 會更新為新的快照檔案。 任何從 T2 以後檢視快照集資料的人員都會重新導向至較新的快照集檔案。 如此一來,原先的快照集檢視者就可以繼續處理較舊的快照集 T1 檔案,而新近的檢視者則可以讀取最新的更新。 這在下游程序執行時間較長的案例中非常有用。

注意

只有在發生資料更新時,才會建立新的快照檔案。 僅保留最新的五個快照檔案。 停滯的資料會自動從您的 Azure Data Lake Storage Gen 2 帳戶中移除。

以下是 model.json 檔案的範例,此檔案永遠指向時間戳記最新的客戶快照集檔案。

範例快照集 model.json 檔案。

下一步是什麼?

成功使用 Azure Synapse Link for Dataverse 服務之後,請探索如何使用探索中心來分析和使用您的資料。 若要存取探索中心,請移至 Power Apps>Azure Synapse Link。 選取您連結的服務,然後選取探索中心索引標籤。您可以在此尋找建議的工具和策劃文件,以協助您讓資料發揮最大的價值。 探索中心。

另請參閱

在 Data Lake 中用 Power BI 分析 Dataverse 的資料

在 Data Lake 中使用 Azure Data Factory 內嵌 Dataverse 資料

Azure Synapse Link for Dataverse 進階設定

Azure Synapse連結 FAQ