Compartilhar via

Identificar uma leitura cara no DAG do Spark

  • Artigo

Chegando ao DAG

Supondo que você esteja olhando para um trabalho caro, primeiro precisamos da ID do estágio que está fazendo a leitura. Aqui podemos ver que a ID do estágio é 194:

ID da fase

Agora precisamos acessar o DAG do SQL. Role até a parte superior da página do trabalho e clique na Consulta SQL Associada:

ID da SQL

Você já deve ver o DAG. Caso contrário, role um pouco e você deverá vê-lo:

DAG do SQL

Em alguns casos, você pode seguir o DAG e ver de onde os dados estão vindo. Em outros casos, procure a ID de Estágio que você anotou:

Estágio SQL no DAG

Em seguida, você precisa procurar o nó de “Verificação”. Nesse caso, é muito simples dizer que estamos lendo uma tabela chamada transactions:

Verificação no DAG

Em alguns casos, talvez você precise clicar ou rolar o nó para obter o local dos dados que você está lendo.