Identyfikowanie kosztownego odczytu w języku DAG platformy Spark

Uzyskiwanie do grupy dag

Przy założeniu, że patrzysz na kosztowne zadanie, najpierw potrzebujemy identyfikatora etapu, który wykonuje odczyt. W tym miejscu widać, że identyfikator etapu to 194:

Teraz musimy przejść do grupy DAG SQL. Przewiń w górę do góry strony zadania i kliknij skojarzone zapytanie SQL:

Powinna zostać wyświetlona grupa DAG. Jeśli nie, przewiń nieco i powinien zostać wyświetlony:

W niektórych przypadkach możesz śledzić grupę DAG i zobaczyć, skąd pochodzą dane. W innych przypadkach wyszukaj zanotowany identyfikator etapu:

Następnie należy wyszukać węzeł "Skanuj". W tym przypadku dość proste jest powiedzenie, że odczytujemy tabelę o nazwie transactions:

W niektórych przypadkach może być konieczne kliknięcie lub przerzucić węzeł, aby uzyskać lokalizację odczytywanych danych.