Monitorando o status e o desempenho de um eventstream
O recurso de fluxos de eventos do Microsoft Fabric permite monitorar os dados de eventos de streaming, bem como o status e o desempenho de ingestão com facilidade. Este artigo explica como monitorar o status do eventstream, verificar logs, erros e insights de dados com métricas.
Em um eventstream, há dois tipos de experiências de monitoramento: Insights de dados e Logs de runtime. Você vê uma ou as duas exibições, dependendo da origem ou do destino selecionado.
Pré-requisitos
Antes de começar, você deve ter:
- Acesso a um espaço de trabalho com permissões de Visualizador ou superior na qual seu item do Eventstream está localizado.
- Uma origem do hub de eventos do Azure ou um destino de lakehouse é adicionado ao fluxo de eventos.
Insights sobre os dados
A guia Insights de dados é exibida no painel inferior do editor principal. Ela fornece métricas que você pode usar para monitorar o status e o desempenho do fluxo de eventos, das fontes e dos destinos. Fontes e destinos diferentes têm métricas diferentes. Quando você seleciona um nó na tela principal do editor, as métricas desse nó específico são exibidos na guia Insights de dados.
Os Insights de dados em um nó do fluxo de eventos
As seguintes métricas são exibidas para um nó do fluxo de eventos na guia Insights de dados:
| Metric | Unidade | Descrição |
|---|---|---|
| IncomingMessages | Contagem | O número de eventos ou mensagens enviadas para um eventstream durante um período específico. |
| OutgoingMessages | Contagem | O número de eventos ou mensagens que saem de um eventstream durante um período específico. |
| IncomingBytes | Bytes | Bytes de entrada para um eventstream em um período especificado. |
| OutgoingBytes | Bytes | Bytes de saída para um eventstream em um período especificado. |
Para exibir os insights de dados para um fluxo de eventos:
Selecione o nó do eventstream na tela do editor principal.
No painel inferior, selecione a guia Insights de dados.
Se houver dados dentro do fluxo de eventos, o gráfico de métricas será exibido na guia Insights de dados.
No lado direito da guia, marque as caixas de seleção ao lado das métricas que deseja exibir.
Insights de dados em nós de origem do Hub de Eventos do Azure, de origem do Hub IoT do Azure, de destino do lakehouse e de destino do banco de dados KQL
As seguintes métricas estão disponíveis na guia Insights de dados para nós de origem do Hub de Eventos do Azure, de origem do Hub IoT do Azure, de destino do lakehouse e de destino do banco de dados KQL (modo de processamento de evento antes da ingestão):
| Metric | Unidade | Descrição |
|---|---|---|
| Eventos de entrada | Count | Número de dados de evento que o mecanismo de fluxos de eventos extrai de um fluxo de eventos (em um destino do lakehouse ou do banco de dados KQL) ou de uma origem do hub de eventos do Azure (em uma origem do hub de eventos do Azure). |
| Bytes de evento de entrada | Bytes | Volume de dados de evento que o mecanismo de fluxos de eventos extrai de um fluxo de eventos (em um destino do lakehouse ou do banco de dados KQL) ou de uma origem do hub de eventos do Azure (em uma origem do hub de eventos do Azure). |
| Eventos de saída | Count | Número de dados de evento que o mecanismo de fluxos de eventos envia para um lakehouse ou banco de dados KQL (em um destino do lakehouse ou do banco de dados KQL) ou um fluxo de eventos (em uma origem do hub de eventos do Azure). |
| Eventos de entrada na lista de pendências | Contagem | Número de eventos de entrada que são adicionados à lista de pendências no mecanismo de fluxos de eventos. |
| Erros de runtime | Contagem | Número total de erros relacionados ao processamento do evento. |
| Erros de conversão de dados | Contagem | Número de eventos de saída que não pôde ser convertido para o esquema de saída esperado. |
| erros de desserialização | Contagem | Número de eventos de entrada que não puderam ser desserializados dentro do mecanismo de fluxos de eventos. |
| Atraso de Marca-d'água | Second | O atraso máximo de marca-d'água em todas as partições de todas as saídas desta origem ou destino. É calculado como o tempo do relógio menos a maior marca d'água. |
Para visualizar os insights de dados de uma origem do Hub de Eventos do Azure, de uma origem do Hub IoT do Azure, de um destino do lakehouse ou de um destino do banco de dados KQL (modo de processamento de evento antes da ingestão):
Selecione o nó de origem do Hub de Eventos do Azure, de origem do Hub IoT do Azure, o nó de destino do lakehouse ou nó de destino do banco de dados KQL na tela do editor principal.
No painel inferior, selecione a guia Insights de dados.
Se houver dados na origem do hub de eventos do Azure ou no destino do lakehouse ou do banco de dados KQL, o gráfico de métricas será exibido na guia Insights de dados.
No lado direito da guia, marque as caixas de seleção ao lado das métricas que deseja exibir.
Insights de dados em nós de origem do conector de streaming
Os nós de origem do conector de streaming incluem as seguintes fontes:
- Captura de dados de alterações (CDA) com o Banco de Dados SQL do Azure
- CDA do Banco de dados PostgreSQL
- CDA do Banco de Dados MySQL
- CDA do Azure Cosmos DB
- SQL Server no CDC (VM DB)
- CDC da Instância Gerenciada de SQL do Azure
- Pub/Sub do Google Cloud
- Amazon Kinesis Data Streams
- Kafka para Confluent Cloud
- Apache Kafka
- Amazon MSK Kafka
As seguintes métricas estão disponíveis no guia Insights de dados para nós de origem do conector de streaming:
| Metric | Unidade | Descrição |
|---|---|---|
| Eventos de saída de origem | Count | Número de registros gerados das transformações (se houver) e gravados no Eventstream para a tarefa que pertence ao conector de origem nomeado no trabalho (desde que a tarefa foi reiniciada pela última vez). |
| Eventos de entrada de origem | Count | Antes de as transformações serem aplicadas, esse é o número de registros produzidos ou sondados pela tarefa que pertence ao conector de origem nomeado no trabalho (desde que a tarefa foi reiniciada pela última vez). |
| Erros do conector registrados | Count | O número de erros registrados para essas tarefas do conector. |
| Erros de processamento do conector | Count | O número de erros de processamento de registros nessas tarefas do conector. |
| Falhas de processamento do conector | Count | O número de falhas de processamento de registros nessas tarefas do conector, incluindo falhas de repetição. |
| Eventos do conector ignorados | Count | O número de registros ignorados devido a erros nas tarefas deste conector. |
Para exibir os insights de dados de uma fonte de conector de streaming:
- Selecione Usar origem externa e escolha uma origem do conector de streaming.
- Configure e publique a origem do conector de streaming.
- No painel inferior, no modo de exibição ao vivo, selecione o guia Insights de dados.
- Se houver dados dentro da fonte do conector de streaming, o gráfico de métricas será exibido no guia Insights de dados.
- No lado direito da guia, marque as caixas de seleção ao lado das métricas que deseja exibir.
Logs de runtime
A guia Logs de runtime permite que você verifique os logs detalhados que ocorrem no mecanismo de fluxo de eventos. Os logs de runtime apresentam três níveis de gravidade: aviso, erro e informações.
Para exibir os logs de runtime da origem do hub de eventos do Azure, a origem do hub iot do Azure, a origem do conector de streaming, o destino do lakehouse e o destino do banco de dados KQL (modo 'Processamento de eventos antes da ingestão'):
Selecione a origem do hub de eventos do Azure, a origem do conector de streaming, o destino lakehouse ou o destino do banco de dados KQL na tela principal do editor.
No painel inferior, selecione a guia Logs de runtime.
Se houver dados na origem do hub de eventos do Azure ou do destino de lakehouse ou do destino do banco de dados KQL, os logs serão exibidos no guia Logs de runtime.
Pesquise os logs com a opção Filtrar por palavra-chave ou filtre a lista alterando a gravidade ou o tipo.
Para ver os logs mais atuais, selecione Atualizar.
