アダプティブクエリの実行

[アーティクル]
03/01/2024

アダプティブクエリ実行 (AQE) は、クエリの実行中に行われるクエリの再最適化です。

実行時に再最適化を行う理由は、Azure Databricks では、シャッフルおよびブロードキャスト交換 (AQE ではクエリステージと呼ばれます) の最後に最新の正確な統計情報が得られることにあります。その結果、Azure Databricks では、より優れた物理戦略を選択する、最適なシャッフル後のパーティションのサイズと数を選択する、ヒントを必要としていた (スキュー結合処理など) 最適化を実行する、などの操作を行うことができます。

これは、統計情報の収集がオンになっていない場合や統計情報が古くなっている場合に非常に役立ちます。また、複雑なクエリの途中やデータスキューの発生後など、静的に導出された統計情報が不正確な状況でも役立ちます。

機能

AQE は既定で有効になっています。 4 つの主要な機能があります。

並べ替えマージ結合をブロードキャストハッシュ結合に動的に変更します。
シャッフル交換後、パーティションを動的に結合します (小さなパーティションを妥当なサイズのパーティションに結合します)。非常に小さなタスクは I/O スループットが低く、スケジューリングのオーバーヘッドとタスク設定のオーバーヘッドにより影響を受けやすい傾向があります。小さなタスクを結合することで、リソースを節約し、クラスターのスループットを向上させることができます。
偏りのあるタスクをほぼ均等なサイズのタスクに分割 (および必要に応じて複製) することにより、並べ替えマージ結合およびシャッフルハッシュ結合でスキューを動的に処理します。
空の関係を動的に検出して伝達します。

Application

AQE は、次のすべてのクエリに適用されます。

非ストリーミング
少なくとも 1 つの交換 (通常、結合、集計、またはウィンドウがある場合)、1 つのサブクエリ、またはその両方を含む。

AQE が適用されたすべてのクエリが必ずしも再最適化されるとは限りません。再最適化の結果、静的にコンパイルされたクエリプランとは異なるクエリプランが作成される場合と作成されない場合があります。クエリのプランが AQE によって変更されたかどうかを判断するには、次の「クエリプラン」を参照してください。

クエリプラン

このセクションでは、さまざまな方法でクエリプランを調べる方法について説明します。

Spark UI

`AdaptiveSparkPlan` ノード

AQE が適用されたクエリには、通常、各メインクエリまたはサブクエリのルートノードとして、1 つ以上の AdaptiveSparkPlan ノードが含まれます。クエリが実行される前または実行されているとき、対応する AdaptiveSparkPlan ノードの isFinalPlan フラグは false として表示されます。クエリの実行が完了すると、isFinalPlan フラグは true. に変わります

進展するプラン

クエリプランダイアグラムは、実行の進行と共に進展して、実行されている最新のプランを反映します。 (メトリックが使用可能な) 既に実行されているノードは変化しませんが、実行されていないノードについては、再最適化の結果として時間の経過と共に変化する可能性があります。

クエリプランダイアグラムの例を次に示します。

Query plan diagram

`DataFrame.explain()`

`AdaptiveSparkPlan` ノード

現在のプランと初期プラン

各ノード AdaptiveSparkPlan の下には、実行が完了したかどうかに応じて、初期プラン (AQE 最適化を適用する前のプラン) と、現在のプランまたは最終プランの両方があります。現在のプランは、実行の進行と共に進展します。

実行時統計情報

各シャッフルステージとブロードキャストステージには、データ統計情報が含まれます。

ステージが実行される前または実行されているとき、統計情報はコンパイル時の推定値を表し、フラグ isRuntime は false になります (例: Statistics(sizeInBytes=1024.0 KiB, rowCount=4, isRuntime=false);)

ステージの実行が完了した後、統計情報は実行時に収集されたものを表し、フラグ isRuntime は true になります (例: Statistics(sizeInBytes=658.1 KiB, rowCount=2.81E+4, isRuntime=true))

DataFrame.explain の例を次に示します。

実行前
実行中
実行後

`SQL EXPLAIN`

`AdaptiveSparkPlan` ノード

AQE が適用されたクエリには、通常、各メインクエリまたはサブクエリのルートノードとして、1 つ以上の AdaptiveSparkPlan ノードが含まれます。

現在のプランなし

SQL EXPLAIN ではクエリが実行されないため、現在のプランは常に初期プランと同じになり、AQE によって最終的に実行される内容を反映しません。

SQL explain の例を次に示します。

SQL explain

有効性

クエリプランは、1 つ以上の AQE 最適化が有効になると変更されます。これらの AQE 最適化による効果は、現在のプランと最終プラン、および現在のプランと最終プランの初期プランノードと特定のプランノードの相違によって示されます。

並べ替えマージ結合をブロードキャストハッシュ結合に動的に変更する: 現在のプランまたは最終プランと初期プランとの間で物理結合ノードが異なります
パーティションを動的に結合する: ノード CustomShuffleReader のプロパティが Coalesced として示されます
スキュー結合を動的に処理する: ノード SortMergeJoin のフィールド isSkew が true として示されます。
空の関係を動的に検出して伝達する: プランの一部 (または全体) が、関係フィールドが空のノード LocalTableScan に置き換えられます。