Condividi tramite

Individuazione di una lettura ad alto costo nel DAG di Spark

  • Articolo

Arrivare al DAG

Supponendo che si stia esaminando un lavoro costoso, per prima cosa abbiamo bisogno dell'ID della fase che esegue la lettura. Qui possiamo vedere che l'ID della fase è 194:

ID fase

Ora è necessario accedere al DAG SQL. Scorrere verso l'alto fino alla parte superiore della pagina del processo e fare clic sul query SQL associata:

ID SQL

Ora dovresti vedere il DAG. In caso contrario, scorrere un po' intorno e dovrebbe essere visualizzato:

SQL DAG

In alcuni casi, è possibile seguire il DAG e vedere da dove provengono i dati. In altri casi, cercare l'ID fase annotato:

fase SQL in DAG

È quindi necessario cercare il nodo "Analisi". In questo caso è piuttosto semplice dire che si sta leggendo una tabella denominata transactions:

Scansione nel DAG

In alcuni casi potrebbe essere necessario fare clic o eseguire il rollover del nodo per ottenere la posizione dei dati letti.