Problema conhecido - O hub de monitoramento exibe a duração incorreta da fila
Os Spark Jobs ficam na fila quando o uso da capacidade atinge o respetivo limite máximo de computação no Spark. Quando o limite é atingido, os trabalhos são adicionados à fila. Os trabalhos são então processados quando os núcleos ficam disponíveis em termos de capacidade. Esse recurso de enfileiramento está habilitado para todas as tarefas em segundo plano no Spark, incluindo notebooks do Spark acionados a partir do agendador de tarefas, pipelines e definições de tarefas do Spark. A duração do tempo que o trabalho está aguardando na fila não é representada corretamente no hub de monitoramento como duração da fila.
Estado: Aberto
experiência de produto: engenharia de dados
Sintomas
A duração total do trabalho mostrado no hub de monitoramento atualmente inclui apenas o tempo de execução do trabalho. A duração total não reflete corretamente o tempo que o trabalho esperou na fila.
Soluções e soluções alternativas
Quando o trabalho está na fila, o estado é mostrado como Não Iniciado na vista de monitorização. Quando o trabalho inicia a execução, o status é atualizado para Em Andamento na visualização de monitoramento. Use o indicador de status do trabalho para saber quando o trabalho está na fila e quando sua execução está em andamento.