Udostępnij za pośrednictwem

Jak określić, czy platforma Spark ponownie zapisuje dane

  • Artykuł

Najpierw otwórz SQL DAG dla etapu zapisu. Przewiń w górę do góry strony zadania i kliknij skojarzone zapytanie SQL:

etap do usługi SQL

Powinien być teraz widoczny DAG. Jeśli nie, przewiń nieco i powinien zostać wyświetlony:

SQL DAG

Jeśli wykonujesz operację Usuń lub Update, sprawdź ilość danych zapisywanych przez zapisującego i porównaj z tym, co oczekujesz. Jeśli widzisz o wiele więcej danych zapisywanych niż oczekiwano, prawdopodobnie zapisujesz dane ponownie:

napisz statystyki

Jeśli wykonujesz scalanie, węzeł scalania zawiera jawne statystyki dotyczące ilości danych, które są zapisywane ponownie.