OneLake 快捷方式的查詢加速 - 概觀 (預覽)
OneLake 快捷方式是指向內部 Fabric 或外部來源之 Eventhouse 的參考。 稍後會使用external_table()
函式,在 KQL 查詢集中存取這類的查詢快捷方式。 透過 OneLake 快捷方式執行的查詢效能可能比直接擷取至 Eventhouse 的數據效能低,因為各種因素,例如從記憶體擷取數據的網路呼叫、缺少索引等等。
查詢加速允許在外部差異數據表上指定原則,以定義快取高效能查詢數據的天數。
從 OneLake 快捷方式、Azure Data Lake Store Gen1、Amazon S3、Google 雲端服務、Azure Blob 記憶體外部數據表,以及 OneLake 快捷方式支援的所有目的地,在 Eventhouse 中支持查詢加速。
重要
此功能處於預覽。
注意
如果您有需要將數據儲存在特定區域中的合規性考慮,請確定您的 Eventhouse 容量與外部數據表或快捷方式數據位於相同的區域中。
加速的外部數據表會新增至記憶體 COGS 和 SSD 記憶體耗用量,類似於 KQL 資料庫中的一般數據表。 您可以在查詢加速原則中定義 Hot 屬性,來控制要快取的數據量。 索引編製和擷取活動也有助於計算資源使用。
何時應該使用 OneLake 快捷方式的查詢加速?
查詢加速會在 OneLake 落地時快取數據,以提供與在 Eventhouse 中擷取數據類似的效能。 藉由使用這項功能,您可以加速 OneLake 中的數據登陸,包括現有的數據和任何新的更新,並預期類似的效能。 這樣就不需要管理擷取管線、維護重複的數據複本,同時確保數據保持同步,而不需要額外的工作。
下列案例適用於透過 OneLake 快捷方式使用查詢加速:
- 以高效能查詢 OneLake 中的數據:當您有現有工作負載上傳數據並在記憶體中管理數據時(選擇性地位於不同的雲端或區域中),而且您想要以高效能查詢部分或所有數據。
- 結合歷程記錄數據與即時串流:當您想要順暢地結合 OneLake 中的數據登陸與進入 Eventhouse 的即時串流,而不會影響查詢速度。
- 利用由其他專案管理的維度數據:通常會裝載在 SQL Server、Cosmos DB、Snowflake 或其他可鏡像到 OneLake 中的高價值和少量數據。 加速 OneLake 快捷方式可讓此數據在 Eventhouse 查詢中輕鬆取用聯結和擴充。 由於維度數據通常比活動數據小很多,因此與該使用量相關聯的額外成本通常最低。
加速外部差異數據表的行為
加速的 OneLake 快捷方式的行為就像 外部數據表,具有相同的限制和功能。 具體而言,不支持具體化檢視和更新原則等功能。
監視加速行為
查詢加速的初始程序取決於外部數據表的大小。 若要監視加速數據表的進度和設定,請使用 KQL 查詢集中的 .show 外部數據表作業query_acceleration統計數據命令。
限制
- 外部數據表中的數據行數目不能超過 900。
- 在預覽期間,具有數據分割的加速外部差異數據表的查詢效能可能不是最佳。
- 此功能假設具有靜態進階功能的差異數據表,例如數據行對應不會變更、數據分割不會變更等等。 若要變更進階功能,請先停用原則,一旦進行變更,請重新啟用原則。
- 差異數據表上的架構變更也必須遵循個別
.alter
的外部差異數據表架構,如果發生重大架構變更,可能會導致從頭開始加速。 - 數據分割不支援以索引為基礎的剪除。
- 壓縮大小超過 6 GB 的 Parquet 檔案將不會快取。
計費
加速數據會在 OneLake Premium 快取計量下收費,類似於原生 Eventhouse 數據表。 您可以設定 要快取的天數來控制加速的數據量。 編製索引活動也可能計入 CU 耗用量。 如需詳細資訊,請參閱 記憶體計費。
與查詢加速相關的費用會出現在建立加速快捷方式之 Eventhouse 下的 Fabric 計量應用程式中 。