监视事件流的状态和性能

Microsoft Fabric 事件流功能可以轻松监控流事件数据、摄取状态和摄取性能。 本文介绍如何通过指标监视事件流状态、检查日志、错误和数据见解。

在事件流中,有两种类型的监视体验:数据见解运行时日志。 可以看到一个或两个视图,具体取决于选择的源或目标。

先决条件

在开始之前,你必须具有:

  • 使用查看者或更高权限访问 Eventstream 项所在的工作区。
  • 添加到事件流的 Azure 事件中心源或数据湖目标。

数据见解

数据见解”选项卡显示在主编辑器的下方窗格中。 该选项卡提供可用于监视事件流、源和目标的状态和性能的指标。 不同的源和目标具有不同的指标。 在主编辑器画布中选择节点时,此特定节点的指标将显示在“数据见解”选项卡中。

事件流节点中的数据见解

以下指标显示“数据见解”选项卡上的事件流节点:

指标 计价单位 说明
IncomingMessages 计数 在指定期间段内发送到事件中心的事件或邮件数。
OutgoingMessages 计数 在指定时间段内从事件流中流出的事件或消息数量。
IncomingBytes 字节 在指定时间段内事件中心的传入的字节数。
OutgoingBytes 字节 在指定时间段内事件中心的传出的字节数。

若要查看事件流的数据见解,请执行以下操作:

  1. 在主编辑器画布中选择事件流节点。

  2. 在下方窗格中,选择“数据见解”选项卡。

  3. 如果事件流中存在数据,指标图表将显示在“数据见解” 选项卡上。

  4. 在选项卡右侧,选中要显示的指标旁边的复选框。

显示时间流指标的屏幕截图。

Azure 事件中心、Azure IoT 中心、湖屋、Eventhouse、派生流和 Fabric 激活器节点中的数据见解

Azure 事件中心、Azure IoT 中心、湖屋、Eventhouse(“引入前处理事件”模式)、派生流和 Fabric 激活器节点的 “数据见解”选项卡上提供了以下指标

指标 计价单位 说明
输入事件 计数 Eventstream 引擎从 Eventstream(在湖屋、Eventhouse、派生流或 Fabric 激活器目标中)或事件源(在 Azure 事件中心或 Azure IoT 中心源中)拉取的事件数据数量。
输入事件字节数 字节 Eventstream 引擎从 Eventstream(在湖屋、Eventhouse、派生流或 Fabric 激活器目标中)或事件源(在 Azure 事件中心或 Azure IoT 中心源中)拉取的事件数据量。
输出事件数 计数 Eventstream 引擎发送到湖屋或 Eventhouse(在湖屋、Eventhouse、派生流或 Fabric 激活器目标中)或事件源(在 Azure 事件中心或 Azure IoT 中心源中)的事件数据数量。
积压的输入事件数 计数 事件流引擎中积压的输入事件数。
运行时错误 计数 与事件处理相关的错误总数。
数据转换错误数 计数 无法转换为预期输出架构的输出事件的数量。
反序列化错误 计数 在事件流引擎中无法反序列化的输入事件数。
水印延迟 Second 此源或目标的所有输出的所有分区之间的最大水印延迟。 计算方法为挂钟时间减去最大水印。

若要查看 Azure 事件中心、Azure IoT 中心、湖屋、Eventhouse(“引入前处理事件”模式)、派生流和 Fabric 激活器的数据见解,请执行以下操作:

  1. 在主编辑器画布中选择 Azure 事件中心、Azure IoT 中心、湖屋、Eventhouse、派生流或 Fabric 激活器节点

  2. 在下方窗格中,选择“数据见解”选项卡。

  3. 如果 Azure 事件中心、Azure iot 中心、lakehouse、Eventhouse、派生流或 Fabric 激活器内有数据,则指标图表将显示在 数据见解 选项卡上。

  4. 在选项卡右侧,选中要显示的指标旁边的复选框。

显示源和目标指标的屏幕截图。

流式处理连接器源节点中的数据见解

流式处理连接器源节点包括以下源:

  • Azure SQL 数据库变更数据捕获 (CDC)
  • Azure 服务总线
  • PostgreSQL 数据库 CDC
  • MySQL 数据库 CDC
  • Azure Cosmos DB CDC
  • VM DB 上的 SQL Server (CDC)
  • Azure SQL 托管实例 CDC
  • Google Cloud Pub/Sub
  • Amazon Kinesis 数据流
  • Confluent Cloud Kafka
  • Apache Kafka
  • Amazon MSK Kafka

流式处理连接器源节点的“数据见解”选项卡上提供了以下指标

指标 计价单位 说明
源传出事件数 计数 指属于工作线程中已命名源连接器的任务从转换(如果有)中输出并写入到事件流的记录数(自任务上次重启以来)。
源传入事件数 计数 在应用转换之前,指属于工作线程中已命名的源连接器的任务生成或轮询的记录数(自任务上次重启以来)。
记录的连接器错误数 计数 为此连接器任务记录的错误数。
连接器处理错误数 计数 此连接器任务中的记录处理错误的次数。
连接器处理失败数 计数 此连接器任务中记录处理失败的次数,包括重试失败。
跳过的连接器事件数 计数 由于此连接器任务中的错误而跳过的记录数。

若要查看流式处理连接器源的数据见解,请执行以下操作:

  1. 选择“使用外部源”,然后选择一个流式处理连接器源
  2. 配置并发布流式处理连接器源。
  3. 在实时视图中的下方窗格中,选择“数据见解”选项卡
  4. 如果流式处理连接器源中有数据,则会在“数据见解”选项卡上显示指标图表。
  5. 在选项卡右侧,选中要显示的指标旁边的复选框。

显示连接器源指标的屏幕截图。

运行时日志

运行时日志”选项卡可用于检查事件流引擎中发生的详细日志。 运行时日志具有三个严重性级别:警告、错误和信息。

若要查看 Azure 事件中心、Azure IoT 中心、流式处理连接器源、湖屋、Eventhouse(“引入前处理事件”模式)或 Fabric 激活器的运行时日志,请执行以下操作:

  1. 在主编辑器画布中选择节点。

  2. 在下方窗格中,选择“运行时日志”选项卡。

  3. 如果 Azure 事件中心、Azure iot 中心、流式处理连接器源、lakehouse、Eventhouse 或 Fabric 激活器内有数据,日志会显示在 运行时日志 选项卡上。

  4. 使用“按关键字筛选”选项搜索日志,或者通过更改严重性或类型来筛选列表。

  5. 若要查看最新的日志,请选择“刷新”。

显示源和目标运行时日志的屏幕截图。