Come determinare se Spark stia riscrivendo i dati

Aprire prima di tutto il DAG SQL per la fase di scrittura. Scorri verso l'alto fino alla parte superiore della pagina dell'incarico e fai clic sulla query SQL associata.

Dovresti vedere ora il DAG. In caso contrario, scorri un po' e dovresti vederlo.

Se stai eseguendo un'operazione di eliminazione o Update, controlla la quantità di dati scritti dal writer rispetto a quella che ti aspetti. Se si riscontrano molti più dati scritti del previsto, è probabile che si riscrivano i dati:

Se si esegue un'unione, il nodo di merge dispone di statistiche esplicite sulla quantità di dati da riscrivere.