共用方式為

Eventhouse OneLake 可用性

  • 發行項

您可以開啟 OneLake 可用性，在事件屋中建立 KQL 資料庫數據的邏輯複本。 開啟 OneLake 可用性 表示您可以透過 Power BI、Warehouse、Lakehouse、Notebooks 等其他網狀架構引擎，以 Delta Lake 格式查詢 KQL 資料庫中的數據。

Delta Lake 是統一的 Data Lake 資料表格式，可橫跨 Microsoft Fabric 中的所有計算引擎實現順暢的資料存取。 如需 Delta Lake 的詳細資訊，請參閱什麼是 Delta Lake？

在本文中，您將瞭解如何在 OneLake 中開啟 KQL 資料庫資料的可用性。

運作方式

您可以在資料庫或資料表層級開啟 OneLake 可用性。 在資料庫層級啟用時，OneLake 會提供所有新的數據表及其數據。 開啟此功能時，您也可以選取 [套用至現有數據表] 選項，選擇將此選項套用至現有的數據表。 在資料表層級開啟時，只會讓該資料表及其數據在 OneLake 中可用。 您的 KQL 資料庫的 資料保留政策 也適用於 OneLake 的資料。 在保留期間結束時，從 KQL 資料庫移除的數據也會從 OneLake 中移除。 如果您關閉 OneLake 可用性，則會從 OneLake 暫時刪除資料。

雖然 OneLake 的可用性功能 已開啟，但您無法執行以下作業：

  • 重新命名資料表
  • 改變數據表架構
  • 將數據列層級安全性套用至數據表
  • 無法刪除、截斷或清除資料

如果您需要執行上述任何工作，請使用下列步驟：

重要

關閉 OneLake 可用性 虛刪除 OneLake 中的數據。 當您重新開啟可用性時，OneLake 中只會提供新的數據，且不會回填已刪除的數據。

  1. 關閉 OneLake 可用性。

  2. 執行所需的工作。

  3. 開啟 OneLake 可用性。

重要

如需瞭解在 OneLake 中資料顯示所需時間的詳細資訊，請參閱 適應性行為。

開啟 OneLake 可用性不需要額外的記憶體成本。 如需詳細資訊，請參閱 Synapse SQL 資源耗用量。

必要條件

開啟 OneLake 可用性

您可以在 KQL 資料庫或資料表層級上開啟 OneLake 可用性 。

  1. 若要開啟 OneLake 可用性，請流覽至 KQL 資料庫或數據表詳細資料窗格中的 OneLake 區段。

  2. 將 [可用性] 設定為 [開啟]。

    [資料庫詳細數據] 窗格 [OneLake] 區段的螢幕快照，其中顯示醒目提示 [可用性] 選項。

  3. 資料庫會自動重新整理。

    可用性設定為 [開啟] 后，Real-Time Intelligence 中 OneLake 區段詳細數據的螢幕快照。開啟將數據公開至 OneLake 的選項。

您已在 KQL 資料庫中開啟 OneLake 可用性 。 您現在可以存取以 Delta Lake 格式指定 OneLake 路徑新增至資料庫的所有新數據。 您也可以選擇從 Lakehouse、數據倉儲建立 OneLake 快捷方式，或直接透過 Power BI Direct Lake 模式查詢數據。

調適型行為

Eventhouse 提供健全的機制，以智慧方式將傳入資料流批處理成一或多個 Parquet 檔案，並結構化以供分析。 處理棘手的數據時，批處理資料流很重要。 將許多小型 Parquet 檔案寫入湖中可能會沒有效率，因而產生較高的成本和效能不佳。

如果沒有足夠的數據來建立最佳的 Parquet 檔案，Eventhouse 的自適性機制可能會延遲寫入作業。 這可確保 Parquet 檔案的大小最佳，並遵循 Delta Lake 最佳做法。 Eventhouse 調適型機制可確保 Parquet 檔案已準備好進行分析，並平衡提示數據可用性與成本和效能考慮的需求。

注意

  • 根據預設，寫入作業最多可能需要 3 小時的時間，或直到建立大小足夠（通常是 200-256 MB）的檔案為止。
  • 您可以將延遲調整為介於 5 分鐘到 3 小時之間的值。

例如，使用下列命令將延遲設定為5分鐘：

.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);

謹慎

將延遲調整為較短的期間可能會導致包含大量小型檔案的不理想資料表，這可能會導致查詢效能不佳。 OneLake 中的結果數據表是唯讀的，在建立之後無法優化。

您可以使用 .show table mirroring operations command 命令，檢查數據時延，以確定湖中新增數據的時間。

結果會從上次新增數據的時間進行測量。 當延遲產生 00：00：00 時，KQL 資料庫中的所有數據都可在 OneLake 中使用。

檢視檔案

當您 開啟資料表上的 OneLake 可用性 時，會建立差異記錄檔資料夾以及任何對應的 JSON 和 Parquet 檔案。 您可以在即時智慧中檢視 OneLake 中提供的檔案及其屬性。

  • 若要檢視檔案，請將滑鼠停留在 [總 管] 窗格中的資料表上，然後選取 [ 更多] 功能表單 [...]>檢視檔案。

    [總管] 窗格的螢幕擷取畫面，其中顯示資料表的 [更多] 功能表下拉式清單。

  • 若要檢視差異記錄檔資料夾或個別檔案的屬性，請將滑鼠停留在資料夾或檔案上，然後選取 [ 更多] 功能表 [...]>屬性。

  • 若要檢視差異記錄檔資料夾中的檔案：

    1. 選取_delta_log資料夾。
    2. 選取檔案以檢視資料表元資料和架構。 開啟的編輯器是唯讀格式。

存取鏡像原則

根據預設，開啟 OneLake 可用性時，會啟用鏡像原則。 您可以使用原則來監視 數據延遲 ，或將其變更為 分割差異資料表。

注意

如果您關閉 OneLake 可用性，鏡像原則的 IsEnabled 屬性會設定為 false （IsEnabled=false）。

數據分割差異資料表

您可以分割差異資料表以改善查詢速度。 如需何時分割 OneLake 檔案的相關信息，請參閱 何時分割資料表。 每個分割區會使用 Partitions 清單中所列的 PartitionName，以個別數據行表示。 這表示您的 OneLake 複本的數據行數目超過源資料表。

若要分割您的差異資料表，請使用 .alter-merge 資料表原則鏡像 命令。

相關內容