监视 Apache Spark 容量消耗

本文的目的是为希望监视其所管理容量的活动的管理员提供指导。 通过利用 Microsoft Fabric 容量指标应用中提供的 Apache Spark 容量消耗报表,管理员可以深入了解项目(包括 Lakehouse、Notebook 和 Apache Spark 作业定义)的可计费 Spark 容量使用情况。 应用中不会报告某些 Spark 容量消耗活动。

报告的 Spark 容量消耗

湖屋、笔记本和 Spark 作业定义的以下操作被视为计费活动。

操作名称 注释
Lakehouse 操作 Lakehouse Lakehouse 资源管理器中的用户预览表。
Lakehouse 表加载 Lakehouse 用户在 Lakehouse 资源管理器中加载增量表。
Notebook 运行 笔记本 由用户手动操作的 Notebook 运行。
Notebook HC 运行 笔记本 高并发 Apache Spark 会话下的 Notebook 运行。
Notebook 计划运行 笔记本 由笔记本计划事件触发的 Notebook 运行。
Notebook 管道运行 笔记本 由管道触发的 Notebook 运行。
Notebook VS Code 运行 笔记本 VS Code 中的 Notebook 运行。
Spark 作业运行 Spark 作业定义 由用户提交启动的 Spark 批处理作业运行。
Spark 作业计划运行 Spark 作业定义 由笔记本计划事件触发的批处理作业运行。
Spark 作业管道运行 Spark 作业定义 由管道触发的批处理作业运行。
Spark 作业 VS Code 运行 Spark 作业定义 从 VS Code 提交的 Spark 作业定义。

未报告的 Spark 容量消耗

某些 Spark 容量消耗活动不会在指标应用中报告。 这些活动包括用于库管理的系统 Spark 作业和 Spark Live 池或实时会话的某些系统 Spark 作业。

  • 库管理 - 与工作区级别的库管理关联的容量消耗不会在指标应用中报告。

  • 系统 Spark 作业 - 未与 Notebook、Spark 作业定义或 Lakehouse 关联的 Spark 容量消耗不包括在容量报告中。

容量消耗报表

所有与 Spark 相关的操作都分类为后台操作。 Spark 的容量消耗显示在 Notebook、Spark 作业定义或 Lakehouse 下,并按操作名称和项进行聚合。

显示项目报表的屏幕截图。

后台操作报表

后台操作按特定时间点显示。 在报表的表中,每一行都对应一个用户操作。 查看“用户”列,确定执行特定操作的人员。 如需有关特定操作的详细信息,可以使用它的操作 ID 在 Microsoft Fabric 监视中心进行查找。

显示后台操作报表的屏幕截图。