Partilhar via

Identificando uma leitura cara no DAG do Spark

  • Artigo

Como chegar ao DAG

Supondo que você esteja olhando para um trabalho caro, primeiro precisamos do ID do estágio que está fazendo a leitura. Aqui podemos ver o ID do Estágio é 194:

ID do estágio

Agora precisamos chegar ao SQL DAG. Role para cima até a parte superior da página do trabalho e clique na Consulta SQL associada:

SQL ID

Agora você deve ver o DAG. Se não, role um pouco e você deve vê-lo:

SQL DAG

Em alguns casos, você pode seguir o DAG e ver de onde os dados estão vindo. Em outros casos, procure o ID do estágio que você observou:

Estágio SQL no DAG

Então você precisa procurar o nó "Scan". Neste caso, é muito simples dizer que estamos lendo uma tabela chamada transactions:

Verificar no DAG

Em alguns casos, pode ser necessário clicar ou rolar o nó para obter a localização dos dados que está lendo.