Monitorando o status e o desempenho de um fluxo de eventos
O recurso de fluxos de eventos do Microsoft Fabric permite monitorar facilmente dados de eventos de streaming, status de ingestão e desempenho de ingestão. Este artigo explica como monitorar o status do fluxo de eventos, verificar logs, erros e insights de dados com métricas.
Em um fluxo de eventos, há dois tipos de experiências de monitoramento: insights de dados e logs de tempo de execução. Você verá uma ou ambas as exibições, dependendo da origem ou do destino selecionado.
Pré-requisitos
Antes de começar, você deve ter:
- Acesso a um espaço de trabalho com permissões de Visualizador ou superior onde o item Eventstream está localizado.
- Uma origem de hub de eventos do Azure ou destino lakehouse adicionado ao seu fluxo de eventos.
Informações de dados
A guia Insights de dados aparece no painel inferior do editor principal. A guia fornece métricas que você pode usar para monitorar o status e o desempenho do fluxo de eventos, fontes e destinos. Diferentes fontes e destinos têm métricas diferentes. Quando você seleciona um nó na tela principal do editor, as métricas para esse nó específico aparecem na guia Insights de dados.
Insights de dados em um nó de fluxo de eventos
As métricas a seguir aparecem para um nó de fluxo de eventos na guia Insights de dados:
| Métrica | Unit | Description |
|---|---|---|
| Mensagens recebidas | Count | O número de eventos ou mensagens enviadas para um fluxo de eventos durante um período especificado. |
| Mensagens de Saída | Count | O número de eventos ou mensagens de saída de um fluxo de eventos durante um período especificado. |
| IncomingBytes | Bytes | Bytes de entrada para um fluxo de eventos durante um período especificado. |
| OutgoingBytes | Bytes | Bytes de saída para um fluxo de eventos durante um período especificado. |
Para exibir insights de dados para um fluxo de eventos:
Selecione o nó eventstream na tela principal do editor.
No painel inferior, selecione a guia Insights de dados.
Se houver dados no fluxo de eventos, o gráfico de métricas aparece na guia Insights de dados.
No lado direito da guia, marque as caixas de seleção ao lado das métricas que você deseja exibir.
Insights de dados no Hub de Eventos do Azure, Hub IoT do Azure, lakehouse, Eventhouse, fluxo derivado e nós ativadores do Fabric
As seguintes métricas estão disponíveis na guia Data insights para o Hub de Eventos do Azure, Hub IoT do Azure, lakehouse, Eventhouse (modo 'Processamento de eventos antes da ingestão'), fluxo derivado e nós ativadores do Fabric:
| Métrica | Unit | Description |
|---|---|---|
| Eventos de entrada | Count | Número de dados de evento que o mecanismo de fluxo de eventos puxa de um eventstream (num lakehouse, Eventhouse, fluxo derivado ou destino do ativador de Fabric) ou de uma origem de eventos (num Hub de Eventos do Azure ou numa origem de Azure IoT Hub). |
| Bytes de evento de entrada | Bytes | Quantidade de dados de evento que o motor de fluxos de eventos puxa de um evento stream (em um lakehouse, Eventhouse, fluxo derivado ou destino ativador de Fabric) ou de uma fonte de evento (em um hub de eventos do Azure ou fonte de Azure IoT hub). |
| Eventos de saída | Count | Número de dados de evento que o motor de fluxo de eventos envia para uma "lakehouse" ou "Eventhouse" (numa "lakehouse", "Eventhouse", fluxo derivado ou destino de ativação do Fabric) ou a partir de uma fonte de evento (num "Hub de Eventos" do Azure ou numa fonte do "Azure IoT Hub"). |
| Eventos de entrada em atraso | Count | Número de eventos de entrada que estão em backlog no mecanismo de fluxo de eventos. |
| Erros de tempo de execução | Count | Número total de erros relacionados ao processamento de eventos. |
| Erros de conversão de dados | Count | Número de eventos de saída que não puderam ser convertidos para o esquema de saída esperado. |
| Erros de desserialização | Count | Número de eventos de entrada que não puderam ser desserializados dentro do mecanismo de fluxo de eventos. |
| Atraso da marca d'água | Second | Atraso máximo da marca d'água em todas as partições de todas as saídas para essa origem ou destino. É calculado como o tempo do relógio de parede menos a maior marca d'água. |
Para exibir as informações de dados para um hub de eventos do Azure, hub IoT do Azure, lakehouse, Eventhouse (modo 'Processamento de eventos antes da ingestão'), fluxo derivado e ativador de Fabric:
Selecione o hub de eventos do Azure, o hub de IoT do Azure, o lakehouse, o Eventhouse, o fluxo derivado ou o nó ativador do Fabric na tela principal do editor.
No painel inferior, selecione a guia Insights de dados.
Se houver dados dentro do hub de eventos do Azure, hub iot do Azure, lakehouse, Eventhouse, derived stream ou Fabric activator, o gráfico de métricas aparecerá na aba Data insights.
No lado direito da guia, marque as caixas de seleção ao lado das métricas que você deseja exibir.
Insights de dados em nós de origem do conector de streaming
Os nós de origem do conector de streaming incluem as seguintes fontes:
- Captura de Dados de Alteração do Banco de Dados SQL do Azure (CDC)
- Barramento de Serviço do Azure
- Banco de Dados PostgreSQL CDC
- Banco de dados MySQL CDC
- Azure Cosmos DB CDC
- SQL Server em VM DB (CDC)
- Azure SQL Managed Instance CDC
- Google Cloud Pub/Sub
- Amazon Kinesis Data Streams
- Nuvem confluente Kafka
- Apache Kafka
- Amazon MSK Kafka
As métricas a seguir estão disponíveis na guia Insights de dados para nós de origem do conector de streaming:
| Métrica | Unit | Description |
|---|---|---|
| Fonte: Eventos de saída | Count | Número de registros gerados das transformações (se houver) e gravados no fluxo de eventos para a tarefa pertencente ao conector de origem nomeado no trabalhador (desde que a tarefa foi reiniciada pela última vez). |
| Eventos de entrada de origem | Count | Antes das transformações serem aplicadas, esse é o número de registros produzidos ou sondados pela tarefa pertencente ao conector de origem nomeado no trabalhador (desde que a tarefa foi reiniciada pela última vez). |
| Erros de conector registrados | Count | O número de erros que foram registrados para esta tarefa de conector. |
| Erros de processamento do conector | Count | O número de erros de processamento de registro nesta(s) tarefa(s) de conector. |
| Falhas de processamento do conector | Count | O número de falhas de processamento de registro nesta(s) tarefa(s) de conector, incluindo falhas de nova tentativa. |
| Eventos do conector ignorados | Count | O número de registros ignorados devido a erros dentro dessa tarefa de conector. |
Para exibir os insights de dados de uma fonte de conector de streaming:
- Selecione Usar fonte externa e, em seguida, escolha uma fonte de conector de streaming.
- Configure e publique a origem do conector de streaming.
- No painel inferior da visualização dinâmica, selecione a guia Insights de dados.
- Se houver dados dentro da fonte do conector de streaming, o gráfico de métricas aparecerá na guia Insights de dados.
- No lado direito da guia, marque as caixas de seleção ao lado das métricas que você deseja exibir.
Logs de tempo de execução
A guia Logs de tempo de execução permite verificar os logs detalhados que ocorrem no mecanismo de fluxo de eventos. Os logs de tempo de execução têm três níveis de gravidade: aviso, erro e informações.
Para exibir os logs de tempo de execução do Hub de Eventos do Azure, Hub IoT do Azure, origem do conector de streaming, lakehouse, Eventhouse (modo 'Processamento de eventos antes da ingestão') ou ativador de Fabric:
Selecione o nó na tela principal do editor.
No painel inferior, selecione a guia Logs de tempo de execução.
Se houver dados dentro do Hub de Eventos do Azure, Hub IoT do Azure, origem do conector de streaming, lakehouse, Eventhouse ou ativador Fabric, os logs aparecerão na guia logs do Runtime.
Pesquise os logs com a opção Filtrar por palavra-chave ou filtre a lista alterando a gravidade ou o tipo.
Para ver os logs mais atuais, selecione Atualizar.
