Cronograma de trabalhos

A linha do tempo de trabalhos é um ótimo ponto de partida para entender seu pipeline ou consulta. Ele fornece uma visão geral do que estava em execução, quanto tempo cada etapa levou e se houve alguma falha ao longo do caminho.

Como abrir o cronograma de vagas

Na interface do Spark, clique em Trabalhos e Linha Temporal de Eventos conforme destacado em vermelho na captura de tela a seguir. Você verá a linha do tempo. Este exemplo mostra o driver e o executor 0 sendo adicionados:

O que procurar

As secções abaixo explicam como ler a linha cronológica de eventos para descobrir a possível causa do problema de desempenho ou custo. Se você notar qualquer uma dessas tendências em sua linha do tempo, o final de cada seção correspondente contém um link para um artigo que fornece orientação.

Trabalhos com falha ou executores com falha

Aqui está um exemplo de um trabalho que falhou e de executores removidos, indicado por um status vermelho, na cronologia do evento.

Se você vir trabalhos com falha ou executores com falha, consulte Trabalhos com falha ou executores removidos.

Lacunas na execução

Procure intervalos de um minuto ou mais, como neste exemplo:

Este exemplo tem várias lacunas, algumas das quais são realçadas pelas setas vermelhas. Se você vir lacunas em sua linha do tempo, elas são de um minuto ou mais? São de esperar intervalos curtos à medida que o condutor coordena o trabalho. Se você tiver lacunas maiores, elas estão no meio de um gasoduto? Ou esse cluster está em constante execução e, portanto, as lacunas são explicadas por pausas na atividade? Talvez seja possível determinar isso com base na hora em que sua carga de trabalho começou e terminou.

Se vires lacunas longas e inexplicáveis no meio de um pipeline, consulta Lacunas entre trabalhos do Spark.

Trabalhos longos

A cronologia é dominada por um ou alguns trabalhos longos? Estes longos trabalhos seriam algo a ser investigado. No exemplo a seguir, a carga de trabalho tem uma tarefa consideravelmente mais longa do que as outras. Este é um bom alvo de investigação.

Clique no trabalho mais longo para se aprofundar. Para obter informações sobre como investigar esse estágio longo, consulte Diagnosticando um estágio longo no Spark.

Muitos pequenos trabalhos

O que estamos procurando aqui é uma linha do tempo dominada por trabalhos minúsculos. Pode ser algo como isto:

Observe todas as pequenas linhas azuis. Cada um deles é um pequeno trabalho que levou alguns segundos ou menos.

Se a sua cronologia for maioritariamente de pequenos trabalhos, consulte Muitos pequenos trabalhos do Spark.

Nenhuma das opções acima

Se a sua linha do tempo não se parece com nenhuma das anteriores, o próximo passo é identificar o trabalho mais longo. Classifique os trabalhos por duração e clique no link na descrição do trabalho mais longo:

Quando você está na página do trabalho mais longo, informações adicionais sobre como investigar essa longa etapa estão em Diagnosticando uma longa etapa em Spark.