Utilizar Synapse Studio para monitorizar as aplicações do Apache Spark

Com o Azure Synapse Analytics, pode utilizar o Apache Spark para executar blocos de notas, trabalhos e outros tipos de aplicações nos conjuntos do Apache Spark na sua área de trabalho.

Este artigo explica como monitorizar as aplicações do Apache Spark, enquanto lhe permite controlar o estado, os problemas e o progresso mais recentes.

Ver aplicações do Apache Spark

Pode ver todas as aplicações do Apache Spark a partir das aplicaçõesMonitor ->Apache Spark.

Ver aplicações do Apache Spark concluídas

Abra o Monitor e, em seguida, selecione Aplicações apache Spark. Para ver os detalhes sobre as aplicações do Apache Spark concluídas, selecione a aplicação Apache Spark.

1. Verifique as tarefas Concluídas, o Estado e a Duração total.

2. Atualize a tarefa.

3. Clique em Comparar aplicações para utilizar a funcionalidade de comparação. Para obter mais informações sobre esta funcionalidade, veja Comparar aplicações do Apache Spark.

4. Clique no servidor do histórico do Spark para abrir a página Servidor do Histórico.

5. Verifique as informações de Resumo .

6. Verifique os diagnósticos no separador Diagnóstico .

7. Verifique os Registos. Pode ver o registo completo dos registos livy, Prelaunch e Driver através da seleção de diferentes opções na lista pendente. Além disso, pode obter diretamente as informações de registo necessárias ao procurar palavras-chave. Clique em Transferir registo para transferir as informações de registo para o local e selecione a caixa de verificação Filtrar erros e avisos para filtrar os erros e avisos de que precisa.

8. Pode ver uma descrição geral da sua tarefa no gráfico de tarefas gerados. Por predefinição, o gráfico mostra todas as tarefas. Pode filtrar esta vista por ID da Tarefa.

9. Por predefinição, o ecrã Progresso está selecionado. Pode verificar o fluxo de dados ao selecionar Progresso/Ler/DuraçãoEscrita/ na lista pendente Ver.

10. Para reproduzir a tarefa, clique no botão Reproduzir . Pode clicar no botão Parar em qualquer altura para parar.

11. Utilize a barra de deslocamento para ampliar e reduzir o gráfico de tarefas. Também pode selecionar Zoom para Ajustar para que se ajuste ao ecrã.

12. O nó do gráfico de tarefas apresenta as seguintes informações de cada fase:

    • ID da tarefa

    • Número da tarefa

    • Tempo de duração

    • Contagem de linhas

    • Leitura dos dados: a soma do tamanho da entrada e o tamanho de leitura aleatório

    • Dados escritos: a soma do tamanho da saída e o tamanho das escritas aleatórias

    • Número da fase

      

13. Paire o rato sobre uma tarefa e os detalhes da tarefa serão apresentados na descrição:

    • Ícone do estado da tarefa: se o estado da tarefa for bem-sucedido, será apresentado como um "√" verde; se a tarefa detetar um problema, será apresentado um "!" amarelo

    • ID da tarefa

    • Parte geral:

      • Progresso
      • Tempo de duração
      • Número total de tarefas

    • Parte de dados:

      • Número total de linhas
      • Tamanho da leitura
      • Tamanho escrito

    • Parte de distorção:

      • Distorção de dados
      • Distorção de tempo

    • Número da fase

      

14. Clique em Número de fase para expandir todas as fases contidas na tarefa. Clique em Fechar junto ao ID da Tarefa para fechar todas as fases da tarefa.

15. Clique em Ver detalhes num gráfico de fase e, em seguida, serão apresentados os detalhes de uma fase.

    

Monitorizar o progresso da aplicação Apache Spark

Abra o Monitor e, em seguida, selecione Aplicações apache Spark. Para ver os detalhes sobre as aplicações apache Spark que estão em execução, selecione a aplicação Apache Spark submetida. Se a aplicação Apache Spark ainda estiver em execução, pode monitorizar o progresso.

1. Verifique as tarefas Concluídas, o Estado e a Duração total.

2. Cancele a aplicação Apache Spark.

3. Atualize a Tarefa.

4. Clique no botão IU do Apache Spark para aceder à página Tarefa do Apache Spark.

5. Para Gráfico de tarefas, Resumo, Diagnósticos, Registos. Pode ver uma descrição geral da sua tarefa no gráfico de tarefas gerados. Veja os passos 5 a 15 de Ver aplicações do Apache Spark concluídas.

Ver aplicações do Apache Spark canceladas

Abra o Monitor e, em seguida, selecione Aplicações apache Spark. Para ver os detalhes sobre as aplicações do Apache Spark canceladas, selecione a aplicação Apache Spark.

1. Verifique as tarefas Concluídas, o Estado e a Duração total.

2. Atualize a Tarefa.

3. Clique em Comparar aplicações para utilizar a funcionalidade de comparação. Para obter mais informações sobre esta funcionalidade, veja Comparar aplicações do Apache Spark.

4. Abra a ligação do servidor do histórico do Apache ao clicar em Servidor do histórico do Spark.

5. Ver o gráfico. Pode ver uma descrição geral da sua tarefa no gráfico de tarefas gerados. Veja os passos 5 a 15 de Ver aplicações do Apache Spark concluídas.

Falha na depuração da aplicação Apache Spark

Abra o Monitor e, em seguida, selecione Aplicações apache Spark. Para ver os detalhes sobre as aplicações do Apache Spark com falhas, selecione a aplicação Apache Spark.

1. Verifique as tarefas Concluídas, o Estado e a Duração total.

2. Atualize a Tarefa.

3. Clique em Comparar aplicações para utilizar a funcionalidade de comparação. Para obter mais informações sobre esta funcionalidade, veja Comparar aplicações do Apache Spark.

4. Abra a ligação do servidor do histórico do Apache ao clicar em Servidor do histórico do Spark.

5. Ver o gráfico. Pode ver uma descrição geral da sua tarefa no gráfico de tarefas gerados. Veja os passos 5 a 15 de Ver aplicações do Apache Spark concluídas.

Ver dados de entrada/dados de saída

Selecione uma aplicação apache Spark e clique no separador Dados de entrada/Dados de saída para ver as datas da entrada e saída da aplicação Apache Spark. Esta função pode ajudá-lo a depurar a tarefa do Spark. Além disso, a origem de dados suporta três métodos de armazenamento: gen1, gen2 e blob.

Separador Dados de entrada

1. Clique no botão Copiar entrada para colar o ficheiro de entrada no local.

2. Clique no botão Exportar para CSV para exportar o ficheiro de entrada no formato CSV.

3. Pode procurar ficheiros por palavras-chave de entrada na caixa Pesquisa (as palavras-chave incluem nome de ficheiro, formato de leitura e caminho).

4. Pode ordenar os ficheiros de entrada clicando em Nome, Formato de leitura e caminho.

5. Utilize o rato para pairar o rato sobre um ficheiro de entrada, será apresentado o ícone do botão Transferir/Copiar caminho/Mais .

6. Clique no botão Mais . O caminho Copiar/Mostrar no explorador/Propriedades será apresentado no menu de contexto.

   

   • Caminho de cópia: pode copiar Caminho completo e Caminho relativo.

   • Mostrar no explorador: pode ir para a conta de armazenamento ligada (Ligado a> Dados).

   • Propriedades: mostrar as propriedades básicas do ficheiro (Nome do ficheiro/Caminho do ficheiro/Formato de leitura/Tamanho/Modificado).

     

Separador Dados de saída

Apresenta as mesmas funcionalidades que o separador de entrada.

Comparar Aplicações do Apache Spark

Existem duas formas de comparar aplicações. Pode comparar ao selecionar Comparar Aplicação ou clicar no botão Comparar no bloco de notas para vê-la no bloco de notas.

Comparar por aplicação

Clique no botão Comparar aplicações e escolha uma aplicação para comparar o desempenho. Pode ver a diferença entre as duas aplicações.

1. Utilize o rato para pairar o rato sobre uma aplicação e, em seguida, é apresentado o ícone Comparar aplicações .

2. Clique no ícone Comparar aplicações e será apresentada a página Comparar aplicações.

3. Clique no botão Escolher aplicação para abrir a página Escolher aplicação de comparação .

4. Ao escolher a aplicação de comparação, tem de introduzir o URL da aplicação ou escolher a partir da lista periódica. Em seguida, clique no botão OK .

   

5. O resultado da comparação será apresentado na página comparar aplicações.

   

Comparar no bloco de notas

Clique no botão Comparar no Bloco de Notas na página Comparar aplicações para abrir o bloco de notas. O nome predefinido do ficheiro .ipynb é Análise de Aplicações Recorrente.

No ficheiro Notebook: Application Analytics recorrente, pode executá-lo diretamente depois de definir o conjunto do Spark e o Idioma.

Passos seguintes

Para obter mais informações sobre como monitorizar execuções de pipelines, veja o artigo Monitorizar execuções de pipelines com Synapse Studio.