Use o Synapse Studio para monitorar seus aplicativos Apache Spark
Com o Azure Synapse Analytics, você pode usar Apache Spark para executar blocos de anotações, trabalhos e outros tipos de aplicativos em seus pools de Apache Spark em seu espaço de trabalho.
Este artigo explica como monitorar seus aplicativos Apache Spark, permitindo que você fique atento ao status, aos problemas e ao progresso mais recentes.
Exibir aplicativos Apache Spark
Você pode exibir todos os aplicativos de Apache Spark a partir de Monitorar –>Aplicativos Apache Spark.
Exibir aplicativos Apache Spark concluídos
Abra Monitorar e escolha Aplicativos Apache Spark. Para exibir os detalhes sobre os aplicativos Apache Spark concluídos, selecione um aplicativo Apache Spark.
Verifique as Tarefas concluídas, o Statuse a Duração total.
Atualize o trabalho.
Clique em Comparar aplicativos para usar o recurso de comparação. Para obter mais informações sobre esse recurso, consulte Comparar aplicativos Apache Spark.
Clique no servidor de histórico do Spark para abrir a página Servidor de Histórico.
Verifique as informações de Resumo.
Verifique o diagnóstico na guia Diagnóstico.
Verifique os Logs. Você pode exibir o log completo dos logs Livy, Pré-inicialização e Driver selecionando diferentes opções na lista suspensa. E você pode recuperar diretamente as informações de log necessárias pesquisando palavras-chave. Clique em Baixar log para fazer o download das informações de log para o local, e marque a caixa de seleção Filtrar erros e avisos para filtrar os erros e avisos necessários.
Você pode ter uma visão geral do trabalho no grafo do trabalho gerado. Por padrão, o grafo mostra todos os trabalhos. Você pode filtrar a exibição por ID do Trabalho.
Por padrão, a exibição de Progresso é selecionada. Você pode verificar o fluxo de dados selecionando Progresso/Leituras/Gravado/Duração na lista suspensa Exibir.
Para reproduzir o trabalho, clique no botão Reproduzir. Você pode clicar no botão Parar a qualquer momento para parar.
Use a barra de rolagem para ampliar e reduzir o grafo do trabalho; você também pode selecionar Ajustar nível de Zoom para ajustá-lo à tela.
O nó do grafo do trabalho exibe as seguintes informações de cada fase:
ID do Trabalho
Número da tarefa
Tempo de duração
Contagem de linhas
Leitura de dados: a soma do tamanho de entrada e o tamanho de leitura em ordem aleatória
Gravação de dados: a soma do tamanho de saída e do tamanho das gravações em ordem aleatória
Número da fase
Passe o mouse sobre um trabalho e os detalhes dele serão exibidos na dica de ferramenta:
Ícone do status do trabalho: se o status do trabalho for bem-sucedido, ele será exibido com o símbolo "√" em verde; se for detectado algum problema, ele será exibido com o símbolo "!" em amarelo.
ID do Trabalho
Parte geral:
- Progresso
- Tempo de duração
- Número total de tarefas
Parte de dados:
- Número total de linhas
- Tamanho da leitura
- Tamanho da gravação
Parte de distorção:
- Distorção de dados
- Distorção de tempo
Número da fase
Clique em Número da fase para expandir todas as fases contidas no trabalho. Clique em Recolher ao lado da ID do Trabalho para recolher todas as fases do trabalho.
Clique em Exibir detalhes no grafo da fase e os detalhes da fase aparecerão.
Monitorar o progresso do aplicativo Apache Spark
Abra Monitorar e escolha Aplicativos Apache Spark. Para exibir os detalhes sobre os aplicativos Apache Spark que estão sendo executados, selecione o aplicativo Apache Spark enviado. Se o aplicativo Apache Spark ainda estiver em execução, você poderá monitorar o progresso.
Verifique as Tarefas concluídas, o Statuse a Duração total.
Cancele o aplicativo Apache Spark.
Atualize o trabalho.
Clique no botão de Interface do Usuário do Spark para ir para a página de Trabalho do Spark.
Para Grafo de trabalho, Resumo, Diagnóstico, Logs. Você pode ter uma visão geral do trabalho no grafo do trabalho gerado. Confira as etapas de 5 a 15 de Exibir aplicativos Apache Spark concluídos.
Exibir aplicativos Apache Spark cancelados
Abra Monitorar e escolha Aplicativos Apache Spark. Para exibir os detalhes sobre os aplicativos Apache Spark cancelados, selecione um aplicativo Apache Spark.
Verifique as Tarefas concluídas, o Statuse a Duração total.
Atualize o trabalho.
Clique em Comparar aplicativos para usar o recurso de comparação. Para obter mais informações sobre esse recurso, consulte Comparar aplicativos Apache Spark.
Abra o link do servidor de histórico do Apache clicando em servidor de histórico do Spark.
Exiba o gráfico. Você pode ter uma visão geral do trabalho no grafo do trabalho gerado. Confira as etapas de 5 a 15 de Exibir aplicativos Apache Spark concluídos.
Depurar aplicativo Apache Spark com falha
Abra Monitorar e escolha Aplicativos Apache Spark. Para exibir os detalhes sobre os aplicativos Apache Spark com falha, selecione um aplicativo Apache Spark.
Verifique as Tarefas concluídas, o Statuse a Duração total.
Atualize o trabalho.
Clique em Comparar aplicativos para usar o recurso de comparação. Para obter mais informações sobre esse recurso, consulte Comparar aplicativos Apache Spark.
Abra o link do servidor de histórico do Apache clicando em servidor de histórico do Spark.
Exiba o gráfico. Você pode ter uma visão geral do trabalho no grafo do trabalho gerado. Confira as etapas de 5 a 15 de Exibir aplicativos Apache Spark concluídos.
Exibir dados de entrada/de saída
Selecione um aplicativo Apache Spark e clique na guia dados “Dados de Entrada/Saída” para exibir as datas de entrada e saída para o aplicativo Apache Spark. Essa função pode ajudar você a depurar o trabalho do Spark. E a fonte de dados dá suporte a três métodos de armazenamento: Gen1, Gen2 e BLOB.
guia de dados de Entrada
Clique no botão Copiar entrada para colar o arquivo de entrada no local.
Clique no botão Exportar para CSV para exportar o arquivo de entrada no formato CSV.
Você pode pesquisar arquivos por palavras-chave de entrada na caixa de Pesquisa (as palavras-chave incluem nome do arquivo, formato de leitura e caminho).
Você pode classificar os arquivos de entrada clicando em Nome, Formato de leitura e caminho.
Passe o mouse sobre um arquivo de entrada e o ícone do botão Baixar/Copiar caminho/Mais será exibido.
Clique no botão Mais. As opções Copiar caminho/Mostrar no Explorer/Propriedades serão exibidas no menu de contexto.
Copiar caminho: pode copiar o Caminho completo e o Caminho relativo.
Mostrar no Explorer: pode ir para a conta de armazenamento vinculada (Dados -> Vinculado).
Propriedades: mostra as propriedades básicas do arquivo (Nome do arquivo/Caminho do arquivo/Formato de leitura/Tamanho/Modificado).
guia de dados de Saída
Exibe os mesmos recursos que a guia de entrada.
Compare Aplicativos Apache Spark
Há duas maneiras de comparar aplicativos. Você pode comparar escolhendo Comparar Aplicativo ou clicar no botão Comparar no notebook para exibi-lo no notebook.
Comparar por aplicativo
Clique no botão Comparar aplicativos e escolha um aplicativo para comparar o desempenho. Você pode ver a diferença entre os dois aplicativos.
Passe o mouse sobre um aplicativo e o ícone Comparar aplicativos será exibido.
Clique no ícone Comparar aplicativos e a página Comparar aplicativos será exibida.
Clique no botão Escolher aplicativo para abrir a página Escolher aplicativo de comparação.
Ao escolher o aplicativo de comparação, você precisa inserir a URL do aplicativo ou escolher na lista recorrente. Em seguida, clique no botão OK.
O resultado da comparação será exibido na página comparar aplicativos.
Comparar no notebook
Clique no botão Comparar no Bloco de Anotações na página Comparar aplicativos para abrir o bloco de anotações. O nome padrão do arquivo .ipynb é a Análise de Aplicativo Recorrente.
No Bloco de Anotações: arquivo da Análise do Aplicativo Recorrente, você pode executá-lo diretamente depois de definir o pool e o idioma do Spark.
Próximas etapas
Para obter mais informações sobre o monitoramento de execuções de pipeline, consulte o artigo Monitorar execuções de pipeline no Synapse Studio.