Spark에서 데이터를 다시 쓰는지 확인하는 방법

먼저 쓰기 단계에 대한 SQL DAG를 엽니다. 작업 페이지 맨 위로 스크롤하여 연결된 SQL 쿼리를 클릭합니다.

이제 DAG가 표시됩니다. 그게 아니라면, 조금 스크롤하면 찾을 수 있을 겁니다.

삭제 또는 업데이트 작업을 수행하는 경우, 작성자가 작성하는 데이터의 양과 예상한 데이터를 비교하여 확인합니다. 예상보다 훨씬 많은 데이터가 기록되는 경우 데이터를 다시 작성할 수 있습니다.

병합을 수행하는 경우 병합 노드에는 다시 작성하는 데이터의 양에 대한 명시적 통계가 있습니다.