Como determinar se o Spark está regravando dados

Primeiro, abra o SQL DAG para seu estágio de gravação. Role para cima até a parte superior da página do trabalho e clique na Consulta SQL associada:

Agora você deve ver o DAG. Se não, role um pouco e você deve vê-lo:

Se você estiver fazendo uma operação Excluir ou Atualizar, observe a quantidade de dados que estão sendo gravados pelo gravador versus o que você espera. Se você está vendo muito mais dados sendo gravados do que o esperado, provavelmente está reescrevendo dados:

Se você estiver fazendo uma mesclagem, o nó de mesclagem terá estatísticas explícitas sobre a quantidade de dados que está reescrevendo.