Freigeben über

Identifizieren von teuren Lesevorgängen im DAG von Spark

  • Artikel

Zum DAG

Angenommen, Sie befassen sich mit einer teuren Aufgabe. Wir müssen zunächst die ID der Phase ermitteln, die den Lesevorgang durchführt. Hier sehen wird, dass die Phasen-ID 194 ist:

Phasen-ID

Jetzt müssen wir zum SQL-DAG gelangen. Scrollen Sie auf der Auftragsseite ganz nach oben, und klicken Sie auf die zugeordnete SQL-Abfrage:

SQL-ID

Nun sollte der DAG angezeigt werden. Wenn nicht, scrollen Sie ein bisschen herum, bis Sie ihn sehen:

SQL-DAG

In einigen Fällen können Sie dem DAG folgen und sehen, woher die Daten stammen. Suchen Sie in anderen Fällen nach der notierten Phasen-ID:

SQL-Phase in DAG

Anschließend müssen Sie nach dem „Scan“-Knoten suchen. In diesem Fall sollte klar sein, dass wir eine Tabelle mit dem Namen transactions lesen:

Überprüfen im DAG

In einigen Fällen müssen Sie möglicherweise auf den Knoten klicken oder einen Rollover über den Knoten ausführen, um die Position der zu lesenden Daten abzurufen.