Monitorar o consumo de capacidade do Apache Spark
A finalidade deste artigo é oferecer diretrizes para administradores que desejam monitorar atividades nas capacidades que gerenciam. Usando os relatórios de consumo de capacidade do Apache Spark disponíveis no aplicativo Métricas de capacidade do Microsoft Fabric, os administradores podem obter insights do consumo da capacidade faturável do Spark para itens, incluindo Lakehouse, Notebook e definições de trabalho do Apache Spark. Algumas atividades de consumo de capacidade do Spark não são relatadas no aplicativo.
Consumo de capacidade do Spark relatado
As operações a seguir de lakehouses, notebooks e definições de trabalho do Spark são tratadas como atividades faturáveis.
| Nome da operação | Item | Comentários |
|---|---|---|
| Operações do Lakehouse | Lakehouse | Os usuários visualizam a tabela no Lakehouse Explorer. |
| Carga da tabela do Lakehouse | Lakehouse | Os usuários carregam a tabela delta no Lakehouse Explorer. |
| Execução do notebook | Notebook | O Notebook é executado manualmente pelos usuários. |
| Execução do HC do notebook | Notebook | O Notebook é executado na sessão do Apache Spark de alta simultaneidade. |
| Execução agendada do notebook | Notebook | O Notebook é executado disparado por eventos agendados do notebook. |
| Execução de pipeline do notebook | Notebook | O Notebook é executado disparado pelo pipeline. |
| Execução do VS Code do notebook | Notebook | O Notebook é executado no VS Code. |
| Execução de trabalho do Spark | Definição de Trabalho do Spark | Execuções de trabalho em lotes do Spark iniciadas pelo envio do usuário. |
| Execução agendada do trabalho do Spark | Definição de Trabalho do Spark | O trabalho em lotes é executado disparado por eventos agendados do notebook. |
| Execução do pipeline de trabalho do Spark | Definição de Trabalho do Spark | O trabalho em lotes é executado disparado pelo pipeline. |
| Execução do VS Code do trabalho do Spark | Definição de Trabalho do Spark | Definição de trabalho do Spark enviada do VS Code. |
O consumo de capacidade do Spark que não é relatado
Há algumas atividades de consumo de capacidade do Spark que não são relatadas no aplicativo de métricas. Essas atividades incluem trabalhos do Spark do sistema para gerenciamento de bibliotecas e determinados trabalhos do Spark do sistema para pool do Spark Dinâmico ou sessões ao vivo.
Gerenciamento de biblioteca – o consumo de capacidade associado ao gerenciamento de bibliotecas no nível do espaço de trabalho não é relatado no aplicativo de métricas.
Trabalhos do Spark do sistema – o consumo de capacidade do Spark que não está associado a um notebook, uma definição de trabalho do Spark ou um lakehouse, não está incluído no relatório de capacidade.
Relatórios de consumo de capacidade
Todas as operações relacionadas ao Spark são classificadas como operações em segundo plano. O consumo de capacidade do Spark é exibido em um notebook, uma definição de trabalho do Spark ou um lakehouse e é agregado pelo nome e item da operação.
Relatório de operações em segundo plano
As operações em segundo plano são exibidas para um ponto de tempo específico. Na tabela do relatório, cada linha se refere a uma operação de usuário. Examine a coluna Usuário para identificar quem executou uma operação específica. Se precisar de mais informações sobre uma operação específica, você poderá usar sua ID de Operação para pesquisá-la no hub de monitoramento do Microsoft Fabric.
