监视事件流的状态和性能

Microsoft Fabric 事件流功能可以轻松监控流事件数据、摄取状态和摄取性能。 本文介绍如何通过指标监视事件流状态、检查日志、错误和数据见解。

在事件流中,有两种类型的监视体验:数据见解运行时日志。 可以看到一个或两个视图,具体取决于选择的源或目标。

先决条件

在开始之前,你必须具有:

  • 使用查看者或更高权限访问 Eventstream 项所在的工作区。
  • 添加到事件流的 Azure 事件中心源或数据湖目标。

数据见解

数据见解”选项卡显示在主编辑器的下方窗格中。 该选项卡提供可用于监视事件流、源和目标的状态和性能的指标。 不同的源和目标具有不同的指标。 在主编辑器画布中选择节点时,此特定节点的指标将显示在“数据见解”选项卡中。

事件流节点中的数据见解

以下指标显示“数据见解”选项卡上的事件流节点:

指标 计价单位 说明
IncomingMessages 计数 在指定期间段内发送到事件中心的事件或邮件数。
OutgoingMessages 计数 在指定时间段内从事件流中流出的事件或消息数量。
IncomingBytes 字节 在指定时间段内事件中心的传入的字节数。
OutgoingBytes 字节 在指定时间段内事件中心的传出的字节数。

若要查看事件流的数据见解,请执行以下操作:

  1. 在主编辑器画布中选择事件流节点。

  2. 在下方窗格中,选择“数据见解”选项卡。

  3. 如果事件流中有数据,则会在“数据见解”选项卡上显示指标图表。

  4. 在选项卡右侧,选中要显示的指标旁边的复选框。

显示时间流指标的屏幕截图。

Azure 事件中心源节点、Azure IoT 中心源节点、湖屋目标节点和 KQL 数据库目标节点中的数据见解

Azure 事件中心源节点、Azure IoT 中心源节点、湖屋目标节点和 KQL 数据库目标节点的“数据见解”选项卡(“摄取前事件处理”模式)上提供了以下指标:

指标 计价单位 说明
输入事件 计数 事件流引擎从事件流(在湖屋目标或 KQL 数据库目标中)或从 Azure 事件中心源(在 Azure 事件中心源中)拉取的事件数据数目。
输入事件字节数 字节 事件流引擎从事件流(在湖屋目标或 KQL 数据库目标中)或从 Azure 事件中心源(在 Azure 事件中心源中)拉取的事件数据量。
输出事件数 计数 事件流引擎发送到湖屋或 KQL 数据库(在湖屋目标或 KQL 数据库目标中)或事件流(在 Azure 事件中心源中)的事件数据数目。
积压的输入事件数 计数 事件流引擎中积压的输入事件数。
运行时错误 Count 与事件处理相关的错误总数。
数据转换错误数 Count 无法转换为预期输出架构的输出事件的数量。
反序列化错误数 计数 在事件流引擎中无法反序列化的输入事件数。
水印延迟 Second 此源或目标的所有输出的所有分区之间的最大水印延迟。 它的计算方式为挂钟时间减去最大水印。

要查看 Azure 事件中心源、Azure IoT 中心源、湖屋目标或 KQL 数据库目标的数据见解(“摄取前事件处理”模式):

  1. 在主编辑器画布中选择 Azure 事件中心源节点、Azure IoT 中心源节点、湖屋目标节点或 KQL 数据库目标节点

  2. 在下方窗格中,选择“数据见解”选项卡。

  3. 如果 Azure 事件中心源、湖屋目标或 KQL 数据库目标中有数据,则会在数据见解选项卡上显示指标图表。

  4. 在选项卡右侧,选中要显示的指标旁边的复选框。

显示源和目标指标的屏幕截图。

流式处理连接器源节点中的数据见解

流式处理连接器源节点包括以下源:

  • Azure SQL 数据库变更数据捕获 (CDC)
  • PostgreSQL 数据库 CDC
  • MySQL 数据库 CDC
  • Azure Cosmos DB CDC
  • VM DB 上的 SQL Server (CDC)
  • Azure SQL 托管实例 CDC
  • Google Cloud Pub/Sub
  • Amazon Kinesis 数据流
  • Confluent Cloud Kafka
  • Apache Kafka
  • Amazon MSK Kafka

流式处理连接器源节点的“数据见解”选项卡上提供了以下指标

指标 计价单位 说明
源传出事件数 计数 指属于工作线程中已命名源连接器的任务从转换(如果有)中输出并写入到事件流的记录数(自任务上次重启以来)。
源传入事件数 计数 在应用转换之前,指属于工作线程中已命名的源连接器的任务生成或轮询的记录数(自任务上次重启以来)。
记录的连接器错误数 计数 为此连接器任务记录的错误数。
连接器处理错误数 计数 此连接器任务中的记录处理错误的次数。
连接器处理失败数 计数 此连接器任务中记录处理失败的次数,包括重试失败。
跳过的连接器事件数 计数 由于此连接器任务中的错误而跳过的记录数。

若要查看流式处理连接器源的数据见解,请执行以下操作:

  1. 选择“使用外部源”,然后选择一个流式处理连接器源
  2. 配置并发布流式处理连接器源。
  3. 在实时视图中的下方窗格中,选择“数据见解”选项卡
  4. 如果流式处理连接器源中有数据,则会在“数据见解”选项卡上显示指标图表。
  5. 在选项卡右侧,选中要显示的指标旁边的复选框。

显示连接器源指标的屏幕截图。

运行时日志

运行时日志”选项卡可用于检查事件流引擎中发生的详细日志。 运行时日志具有三个严重性级别:警告、错误和信息。

若要查看 Azure 事件中心源、Azure IoT 中心源、流式处理连接器源、湖屋目标和 KQL 数据库目标(“在引入前先进行事件处理”模式)的运行时日志,请执行以下操作:

  1. 在主编辑器画布中选择 Azure 事件中心源、流式处理连接器源、湖屋目标或 KQL 数据库目标。

  2. 在下方窗格中,选择“运行时日志”选项卡。

  3. 如果 Azure 事件中心源、湖屋目标或 KQL 数据库目标中有数据,则会在“运行时日志”选项卡上显示日志

  4. 使用“按关键字筛选”选项搜索日志,或者通过更改严重性或类型来筛选列表。

  5. 若要查看最新的日志,请选择“刷新”。

显示源和目标运行时日志的屏幕截图。