彈性查詢執行

發行項
03/01/2024

彈性查詢執行 (AQE) 是在查詢執行期間所進行的查詢重新最佳化。

執行時間重新優化的動機是，Azure Databricks 在洗牌和廣播交換結束時擁有最新的準確統計資料（稱為 AQE 中的查詢階段）。因此，Azure Databricks 可以選擇更好的實體策略、挑選最佳的隨機亂數據分割大小和數位，或執行需要提示的優化，例如扭曲聯結處理。

當統計資料集合未開啟或統計資料過時時，這非常有用。在靜態衍生統計資料不正確的地方也很有用，例如在複雜的查詢中間，或在發生資料扭曲之後。

功能

預設會啟用 AQE。它有 4 個主要功能：

動態變更將合併聯結排序為廣播雜湊聯結。
隨機交換後，動態合併分割區（將小型分割區合併成合理大小的分割區）。非常小型的工作有更差的 I/O 輸送量，而且往往遭受更多排程額外負荷和工作設定額外負荷。結合小型工作可節省資源並改善叢集輸送量。
動態處理排序合併聯結和隨機雜湊聯結的扭曲，方法是將扭曲的工作分割（並視需要複寫）扭曲成大致平均大小的工作。
以動態方式偵測並傳播空關聯性。

應用程式

AQE 適用于下列所有查詢：

非串流
包含至少一個交換（通常是有聯結、匯總或視窗）、一個子查詢或兩者。

並非所有 AQE 套用的查詢都必須重新優化。重新優化可能或可能不會想出與靜態編譯不同的查詢計劃。若要判斷 AQE 是否已變更查詢的計畫，請參閱下列<查詢計劃 >一節。

查詢計劃

本節討論如何以不同方式檢查查詢計劃。

Spark UI

`AdaptiveSparkPlan` 節點

AQE 套用的查詢包含一或多個 AdaptiveSparkPlan 節點，通常是每個主要查詢或子查詢的根節點。在查詢執行之前或執行時， isFinalPlan 對應的 AdaptiveSparkPlan 節點旗標會顯示為 false ;查詢執行完成之後，旗標會 isFinalPlan 變更為 true.

不斷演進的計畫

查詢計劃圖表會隨著執行進度而演進，並反映正在執行的最新計畫。已經執行的節點（可用的計量）不會變更，但因重新優化而無法隨著時間變更的節點。

以下是查詢計劃圖表範例：

Query plan diagram

`DataFrame.explain()`

`AdaptiveSparkPlan` 節點

AQE 套用的查詢包含一或多個 AdaptiveSparkPlan 節點，通常是每個主要查詢或子查詢的根節點。在查詢執行之前或正在執行時， isFinalPlan 對應 AdaptiveSparkPlan 節點的旗標會顯示為 false ;在查詢執行完成之後，旗標會 isFinalPlan 變更為 true 。

目前和初始計畫

在每個 AdaptiveSparkPlan 節點下，都會有初始計畫（在套用任何 AQE 優化之前的計畫）和目前的或最終計畫，視執行是否已完成而定。目前的計畫會隨著執行進度而發展。

執行時間統計資料

每個隨機播放和廣播階段都包含資料統計資料。

在階段執行或階段執行之前，統計資料是編譯時間估計值，而旗標 isRuntime 為 false ，例如： Statistics(sizeInBytes=1024.0 KiB, rowCount=4, isRuntime=false);

階段執行完成之後，統計資料是在執行時間收集的統計資料，而旗標 isRuntime 將會變成 true ，例如： Statistics(sizeInBytes=658.1 KiB, rowCount=2.81E+4, isRuntime=true)

以下是範例 DataFrame.explain ：

執行之前
執行期間
執行之後

`SQL EXPLAIN`

`AdaptiveSparkPlan` 節點

AQE 套用的查詢包含一或多個 AdaptiveSparkPlan 節點，通常是每個主要查詢或子查詢的根節點。

沒有目前的方案

由於 SQL EXPLAIN 不會執行查詢，目前的計畫一律與初始計畫相同，而且不會反映 AQE 最終會執行的專案。

以下是 SQL 說明範例：

SQL explain

有效性

如果一或多個 AQE 優化生效，查詢計劃將會變更。這些 AQE 優化的效果會以目前和最終計畫與初始計畫與目前和最終方案中的特定計劃節點之間的差異來示範。

動態變更排序合併聯結成廣播雜湊聯結：目前/最終計畫與初始計畫之間的不同實體聯結節點
動態聯合資料分割：具有屬性的節點 CustomShuffleReaderCoalesced
動態處理扭曲聯結：具有欄位 isSkew 為 true 的節點 SortMergeJoin 。
動態偵測和傳播空白關聯：計畫的一部分會由 node LocalTableScan 取代為空白的關聯欄位。