监视事件流的状态和性能
Microsoft Fabric 事件流功能可以轻松监控流事件数据、摄取状态和摄取性能。 本文介绍如何通过指标监视事件流状态、检查日志、错误和数据见解。
在事件流中,有两种类型的监视体验:数据见解 和 运行时日志。 可以看到一个或两个视图,具体取决于选择的源或目标。
先决条件
在开始之前,你必须具有:
- 使用查看者或更高权限访问 Eventstream 项所在的工作区。
- 添加到事件流的 Azure 事件中心源或数据湖目标。
数据见解
“数据见解”选项卡显示在主编辑器的下方窗格中。 该选项卡提供可用于监视事件流、源和目标的状态和性能的指标。 不同的源和目标具有不同的指标。 在主编辑器画布中选择节点时,此特定节点的指标将显示在“数据见解”选项卡中。
事件流节点中的数据见解
以下指标显示“数据见解”选项卡上的事件流节点:
指标 | 计价单位 | 说明 |
---|---|---|
IncomingMessages | 计数 | 在指定期间段内发送到事件中心的事件或邮件数。 |
OutgoingMessages | 计数 | 在指定时间段内从事件流中流出的事件或消息数量。 |
IncomingBytes | 字节 | 在指定时间段内事件中心的传入的字节数。 |
OutgoingBytes | 字节 | 在指定时间段内事件中心的传出的字节数。 |
若要查看事件流的数据见解,请执行以下操作:
在主编辑器画布中选择事件流节点。
在下方窗格中,选择“数据见解”选项卡。
如果事件流中存在数据,指标图表将显示在“数据见解” 选项卡上。
在选项卡右侧,选中要显示的指标旁边的复选框。
Azure 事件中心、Azure IoT 中心、湖屋、Eventhouse、派生流和 Fabric 激活器节点中的数据见解
Azure 事件中心、Azure IoT 中心、湖屋、Eventhouse(“引入前处理事件”模式)、派生流和 Fabric 激活器节点的 “数据见解”选项卡上提供了以下指标:
指标 | 计价单位 | 说明 |
---|---|---|
输入事件 | 计数 | Eventstream 引擎从 Eventstream(在湖屋、Eventhouse、派生流或 Fabric 激活器目标中)或事件源(在 Azure 事件中心或 Azure IoT 中心源中)拉取的事件数据数量。 |
输入事件字节数 | 字节 | Eventstream 引擎从 Eventstream(在湖屋、Eventhouse、派生流或 Fabric 激活器目标中)或事件源(在 Azure 事件中心或 Azure IoT 中心源中)拉取的事件数据量。 |
输出事件数 | 计数 | Eventstream 引擎发送到湖屋或 Eventhouse(在湖屋、Eventhouse、派生流或 Fabric 激活器目标中)或事件源(在 Azure 事件中心或 Azure IoT 中心源中)的事件数据数量。 |
积压的输入事件数 | 计数 | 事件流引擎中积压的输入事件数。 |
运行时错误 | 计数 | 与事件处理相关的错误总数。 |
数据转换错误数 | 计数 | 无法转换为预期输出架构的输出事件的数量。 |
反序列化错误 | 计数 | 在事件流引擎中无法反序列化的输入事件数。 |
水印延迟 | Second | 此源或目标的所有输出的所有分区之间的最大水印延迟。 计算方法为挂钟时间减去最大水印。 |
若要查看 Azure 事件中心、Azure IoT 中心、湖屋、Eventhouse(“引入前处理事件”模式)、派生流和 Fabric 激活器的数据见解,请执行以下操作:
在主编辑器画布中选择 Azure 事件中心、Azure IoT 中心、湖屋、Eventhouse、派生流或 Fabric 激活器节点
在下方窗格中,选择“数据见解”选项卡。
如果 Azure 事件中心、Azure iot 中心、lakehouse、Eventhouse、派生流或 Fabric 激活器内有数据,则指标图表将显示在 数据见解 选项卡上。
在选项卡右侧,选中要显示的指标旁边的复选框。
流式处理连接器源节点中的数据见解
流式处理连接器源节点包括以下源:
- Azure SQL 数据库变更数据捕获 (CDC)
- Azure 服务总线
- PostgreSQL 数据库 CDC
- MySQL 数据库 CDC
- Azure Cosmos DB CDC
- VM DB 上的 SQL Server (CDC)
- Azure SQL 托管实例 CDC
- Google Cloud Pub/Sub
- Amazon Kinesis 数据流
- Confluent Cloud Kafka
- Apache Kafka
- Amazon MSK Kafka
流式处理连接器源节点的“数据见解”选项卡上提供了以下指标:
指标 | 计价单位 | 说明 |
---|---|---|
源传出事件数 | 计数 | 指属于工作线程中已命名源连接器的任务从转换(如果有)中输出并写入到事件流的记录数(自任务上次重启以来)。 |
源传入事件数 | 计数 | 在应用转换之前,指属于工作线程中已命名的源连接器的任务生成或轮询的记录数(自任务上次重启以来)。 |
记录的连接器错误数 | 计数 | 为此连接器任务记录的错误数。 |
连接器处理错误数 | 计数 | 此连接器任务中的记录处理错误的次数。 |
连接器处理失败数 | 计数 | 此连接器任务中记录处理失败的次数,包括重试失败。 |
跳过的连接器事件数 | 计数 | 由于此连接器任务中的错误而跳过的记录数。 |
若要查看流式处理连接器源的数据见解,请执行以下操作:
- 选择“使用外部源”,然后选择一个流式处理连接器源。
- 配置并发布流式处理连接器源。
- 在实时视图中的下方窗格中,选择“数据见解”选项卡。
- 如果流式处理连接器源中有数据,则会在“数据见解”选项卡上显示指标图表。
- 在选项卡右侧,选中要显示的指标旁边的复选框。
运行时日志
“运行时日志”选项卡可用于检查事件流引擎中发生的详细日志。 运行时日志具有三个严重性级别:警告、错误和信息。
若要查看 Azure 事件中心、Azure IoT 中心、流式处理连接器源、湖屋、Eventhouse(“引入前处理事件”模式)或 Fabric 激活器的运行时日志,请执行以下操作:
在主编辑器画布中选择节点。
在下方窗格中,选择“运行时日志”选项卡。
如果 Azure 事件中心、Azure iot 中心、流式处理连接器源、lakehouse、Eventhouse 或 Fabric 激活器内有数据,日志会显示在 运行时日志 选项卡上。
使用“按关键字筛选”选项搜索日志,或者通过更改严重性或类型来筛选列表。
若要查看最新的日志,请选择“刷新”。