监视事件流的状态和性能
Microsoft Fabric 事件流功能可以轻松监控流事件数据、摄取状态和摄取性能。 本文介绍如何通过指标监视事件流状态、检查日志、错误和数据见解。
在事件流中,有两种类型的监视体验:数据见解 和 运行时日志。 可以看到一个或两个视图,具体取决于选择的源或目标。
先决条件
在开始之前,你必须具有:
- 使用查看者或更高权限访问 Eventstream 项所在的工作区。
- 添加到事件流的 Azure 事件中心源或数据湖目标。
数据见解
“数据见解”选项卡显示在主编辑器的下方窗格中。 该选项卡提供可用于监视事件流、源和目标的状态和性能的指标。 不同的源和目标具有不同的指标。 在主编辑器画布中选择节点时,此特定节点的指标将显示在“数据见解”选项卡中。
事件流节点中的数据见解
以下指标显示“数据见解”选项卡上的事件流节点:
指标 | 计价单位 | 说明 |
---|---|---|
IncomingMessages | 计数 | 在指定期间段内发送到事件中心的事件或邮件数。 |
OutgoingMessages | 计数 | 在指定时间段内从事件流中流出的事件或消息数量。 |
IncomingBytes | 字节 | 在指定时间段内事件中心的传入的字节数。 |
OutgoingBytes | 字节 | 在指定时间段内事件中心的传出的字节数。 |
若要查看事件流的数据见解,请执行以下操作:
在主编辑器画布中选择事件流节点。
在下方窗格中,选择“数据见解”选项卡。
如果事件流中有数据,则会在“数据见解”选项卡上显示指标图表。
在选项卡右侧,选中要显示的指标旁边的复选框。
Azure 事件中心源节点、Azure IoT 中心源节点、湖屋目标节点和 KQL 数据库目标节点中的数据见解
Azure 事件中心源节点、Azure IoT 中心源节点、湖屋目标节点和 KQL 数据库目标节点的“数据见解”选项卡(“摄取前事件处理”模式)上提供了以下指标:
指标 | 计价单位 | 说明 |
---|---|---|
输入事件 | 计数 | 事件流引擎从事件流(在湖屋目标或 KQL 数据库目标中)或从 Azure 事件中心源(在 Azure 事件中心源中)拉取的事件数据数目。 |
输入事件字节数 | 字节 | 事件流引擎从事件流(在湖屋目标或 KQL 数据库目标中)或从 Azure 事件中心源(在 Azure 事件中心源中)拉取的事件数据量。 |
输出事件数 | 计数 | 事件流引擎发送到湖屋或 KQL 数据库(在湖屋目标或 KQL 数据库目标中)或事件流(在 Azure 事件中心源中)的事件数据数目。 |
积压的输入事件数 | 计数 | 事件流引擎中积压的输入事件数。 |
运行时错误 | Count | 与事件处理相关的错误总数。 |
数据转换错误数 | Count | 无法转换为预期输出架构的输出事件的数量。 |
反序列化错误数 | 计数 | 在事件流引擎中无法反序列化的输入事件数。 |
水印延迟 | Second | 此源或目标的所有输出的所有分区之间的最大水印延迟。 它的计算方式为挂钟时间减去最大水印。 |
要查看 Azure 事件中心源、Azure IoT 中心源、湖屋目标或 KQL 数据库目标的数据见解(“摄取前事件处理”模式):
在主编辑器画布中选择 Azure 事件中心源节点、Azure IoT 中心源节点、湖屋目标节点或 KQL 数据库目标节点
在下方窗格中,选择“数据见解”选项卡。
如果 Azure 事件中心源、湖屋目标或 KQL 数据库目标中有数据,则会在数据见解选项卡上显示指标图表。
在选项卡右侧,选中要显示的指标旁边的复选框。
流式处理连接器源节点中的数据见解
流式处理连接器源节点包括以下源:
- Azure SQL 数据库变更数据捕获 (CDC)
- PostgreSQL 数据库 CDC
- MySQL 数据库 CDC
- Azure Cosmos DB CDC
- VM DB 上的 SQL Server (CDC)
- Azure SQL 托管实例 CDC
- Google Cloud Pub/Sub
- Amazon Kinesis 数据流
- Confluent Cloud Kafka
- Apache Kafka
- Amazon MSK Kafka
流式处理连接器源节点的“数据见解”选项卡上提供了以下指标:
指标 | 计价单位 | 说明 |
---|---|---|
源传出事件数 | 计数 | 指属于工作线程中已命名源连接器的任务从转换(如果有)中输出并写入到事件流的记录数(自任务上次重启以来)。 |
源传入事件数 | 计数 | 在应用转换之前,指属于工作线程中已命名的源连接器的任务生成或轮询的记录数(自任务上次重启以来)。 |
记录的连接器错误数 | 计数 | 为此连接器任务记录的错误数。 |
连接器处理错误数 | 计数 | 此连接器任务中的记录处理错误的次数。 |
连接器处理失败数 | 计数 | 此连接器任务中记录处理失败的次数,包括重试失败。 |
跳过的连接器事件数 | 计数 | 由于此连接器任务中的错误而跳过的记录数。 |
若要查看流式处理连接器源的数据见解,请执行以下操作:
- 选择“使用外部源”,然后选择一个流式处理连接器源。
- 配置并发布流式处理连接器源。
- 在实时视图中的下方窗格中,选择“数据见解”选项卡。
- 如果流式处理连接器源中有数据,则会在“数据见解”选项卡上显示指标图表。
- 在选项卡右侧,选中要显示的指标旁边的复选框。
运行时日志
“运行时日志”选项卡可用于检查事件流引擎中发生的详细日志。 运行时日志具有三个严重性级别:警告、错误和信息。
若要查看 Azure 事件中心源、Azure IoT 中心源、流式处理连接器源、湖屋目标和 KQL 数据库目标(“在引入前先进行事件处理”模式)的运行时日志,请执行以下操作:
在主编辑器画布中选择 Azure 事件中心源、流式处理连接器源、湖屋目标或 KQL 数据库目标。
在下方窗格中,选择“运行时日志”选项卡。
如果 Azure 事件中心源、湖屋目标或 KQL 数据库目标中有数据,则会在“运行时日志”选项卡上显示日志。
使用“按关键字筛选”选项搜索日志,或者通过更改严重性或类型来筛选列表。
若要查看最新的日志,请选择“刷新”。