Jak zjistit, jestli Spark přepisuje data

Nejprve otevřete jazyk SQL DAG pro vaši fázi zápisu. Posuňte se nahoru na začátek stránky úlohy a klikněte na Přidružený dotaz SQL:

fáze

Teď byste měli vidět DAG. Pokud ne, posouvejte se trochu a měli byste ho vidět:

Pokud provádíte operaci odstranění nebo aktualizace, porovnejte množství dat zapisovaných procesem s tím, co očekáváte. Pokud se vám zapisuje mnohem více dat, než očekáváte, pravděpodobně přepisujete data:

Pokud provádíte sloučení, uzel sloučení obsahuje explicitní statistiky o tom, kolik dat se přepisuje.