Como determinar se o Spark está reescrevendo os dados

Primeiro, abra o DAG do SQL no seu estágio de gravação. Role até a parte superior da página do trabalho e clique na Consulta SQL Associada:

Você já deve ver o DAG. Caso contrário, role um pouco e você deverá vê-lo:

Se estiver realizando uma operação de Excluir ou Atualizar, observe a quantidade de dados que está sendo gravada pelo gravador em comparação com o que você espera. Se você estiver vendo muito mais dados sendo gravados do que o esperado, é provável que você esteja reescrevendo esses dados:

Se você estiver mesclando, o nó de mesclagem terá estatísticas explícitas sobre a quantidade de dados que está sendo reescrita.