Monitorar a utilização de recursos de aplicativos Apache Spark
O grafo de uso do executor na guia Recursos visualiza a alocação e a utilização de executores spark para o aplicativo Spark atual quase em tempo real durante a execução do Spark. O grafo também fornece uma experiência interativa, permitindo que você exiba trabalhos e tarefas do Spark clicando em executar executores em um determinado momento. Atualmente, somente o runtime do Spark versão 3.4 e superior dão suporte a esse recurso.
Aba Recursos
Clique na guia Recursos para acessar um gráfico com quatro gráficos de linha distintos, cada um representando um status de executor diferente: Executando, Ocioso, Alocado e Número máximo de instâncias.
Executando: isso mostra o número real de núcleos usados pelo aplicativo Spark para executar tarefas e trabalhos do Spark.
Ocioso: Isso representa o número de núcleos que estão disponíveis, mas não utilizados, enquanto o aplicativo Spark está em execução.
Alocado: refere-se aos núcleos alocados durante a operação do aplicativo Spark.
Número máximo de instâncias: indica o número máximo de núcleos que podem ser alocados para o aplicativo Spark.
Alterne a legenda de cores para selecionar ou desmarcar o grafo correspondente no gráfico de utilização de recursos.
O grafo de utilização de recursos é interativo. Quando você passa o mouse sobre o grafo de núcleos do executor em execução, um resumo dos núcleos e das informações correspondentes do executor serão exibidos. Clicar em um ponto na linha de núcleo do executor em execução exibirá informações detalhadas sobre o respectivo executor e o trabalho nesse momento específico, mostrado na parte inferior do grafo.
Nota
Em alguns casos, em determinados momentos, o número de tarefas pode exceder a capacidade dos núcleos do executor (ou seja, número de tarefas > dividido pelo total de núcleos do executor / spark.task.cpus). Isso é esperado, pois pode haver um intervalo de tempo entre uma tarefa sendo marcada como em execução e sua execução real em um núcleo do executor. Portanto, algumas tarefas podem aparecer como em execução, mas não estão sendo executadas ativamente em nenhum núcleo.
Conteúdo relacionado
Para obter uma visão geral do monitoramento do Fabric Spark, do monitoramento de aplicativos spark e do monitoramento contextual do Notebook, você pode consultar: