Поделиться через

Как определить, перезаписывает ли Spark данные

  • Статья

Сначала откройте SQL DAG для этапа записи данных. Прокрутите вверх до верхней части страницы задания и щелкните сопутствующий SQL запрос:

Этап в SQL

Теперь вы увидите DAG. Если нет, прокрутите немного и увидите следующее:

SQL DAG

Если вы выполняете операцию удаления или Update, просмотрите объем данных, записанных записывающим устройством, по сравнению с вашими ожиданиями. Если вы видите гораздо больше записываемых данных, чем ожидалось, вы, вероятно, перезаписываете данные:

записать статистику

Если вы выполняете слияние, узел слияния имеет явную статистику о том, сколько данных она перезаписывает.