Spark がデータを書き換えているかどうかを確認する方法

まず、書き込みステージの SQL DAG を開きます。 ジョブのページの上部までスクロールし、[関連付けられた SQL クエリ] をクリックします。

これで DAG が表示されます。 そうでない場合は、少しスクロールすると表示されます。

削除操作または更新操作を実行している場合は、ライターによって書き込まれるデータの量と予想される量を確認します。 予想よりもはるかに多くのデータが書き込まれている場合は、おそらくデータの書き換えが行われています。

統計を書く

マージを実行している場合は、マージ ノードに、書き換えられているデータの量に関する明示的な統計情報が示されます。