Compartir vía

Identificación de una lectura costosa en el DAG de Spark

  • Artículo

Acceso al DAG

Suponiendo que esté viendo un trabajo costoso, primero necesitamos el id. de la fase que está realizando la lectura. Aquí podemos ver que el ID de etapa es 194.

Id. de fase

Ahora necesitamos acceder al DAG de SQL. Desplácese hacia arriba hasta la parte superior de la página del trabajo y haga clic en la consulta SQL asociada:

SQL ID de

Ahora debería ver el DAG. Si no es así, desplácese alrededor de un poco y debería verlo:

DAG de SQL

En algunos casos, puede seguir el DAG y ver de dónde proceden los datos. En otros casos, busque el id. de fase que anotó:

Fase SQL en DAG DAG

A continuación, debe buscar el nodo "Scan". En este caso, es bastante sencillo decir que estamos leyendo una tabla denominada transactions:

Escaneo en DAG Examen en DAG

En algunos casos, es posible que tenga que hacer clic o revertir el nodo para obtener la ubicación de los datos que está leyendo.