监视 Apache Spark 容量消耗
本文的目的是为希望监视其所管理容量的活动的管理员提供指导。 通过利用 Microsoft Fabric 容量指标应用中提供的 Apache Spark 容量消耗报表,管理员可以深入了解项目(包括 Lakehouse、Notebook 和 Apache Spark 作业定义)的可计费 Spark 容量使用情况。 应用中不会报告某些 Spark 容量消耗活动。
报告的 Spark 容量消耗
湖屋、笔记本和 Spark 作业定义的以下操作被视为计费活动。
操作名称 | 项 | 注释 |
---|---|---|
Lakehouse 操作 | Lakehouse | Lakehouse 资源管理器中的用户预览表。 |
Lakehouse 表加载 | Lakehouse | 用户在 Lakehouse 资源管理器中加载增量表。 |
Notebook 运行 | 笔记本 | 由用户手动操作的 Notebook 运行。 |
Notebook HC 运行 | 笔记本 | 高并发 Apache Spark 会话下的 Notebook 运行。 |
Notebook 计划运行 | 笔记本 | 由笔记本计划事件触发的 Notebook 运行。 |
Notebook 管道运行 | 笔记本 | 由管道触发的 Notebook 运行。 |
Notebook VS Code 运行 | 笔记本 | VS Code 中的 Notebook 运行。 |
Spark 作业运行 | Spark 作业定义 | 由用户提交启动的 Spark 批处理作业运行。 |
Spark 作业计划运行 | Spark 作业定义 | 由笔记本计划事件触发的批处理作业运行。 |
Spark 作业管道运行 | Spark 作业定义 | 由管道触发的批处理作业运行。 |
Spark 作业 VS Code 运行 | Spark 作业定义 | 从 VS Code 提交的 Spark 作业定义。 |
未报告的 Spark 容量消耗
某些 Spark 容量消耗活动不会在指标应用中报告。 这些活动包括用于库管理的系统 Spark 作业和 Spark Live 池或实时会话的某些系统 Spark 作业。
库管理 - 与工作区级别的库管理关联的容量消耗不会在指标应用中报告。
系统 Spark 作业 - 未与 Notebook、Spark 作业定义或 Lakehouse 关联的 Spark 容量消耗不包括在容量报告中。
容量消耗报表
所有与 Spark 相关的操作都分类为后台操作。 Spark 的容量消耗显示在 Notebook、Spark 作业定义或 Lakehouse 下,并按操作名称和项进行聚合。
后台操作报表
后台操作按特定时间点显示。 在报表的表中,每一行都对应一个用户操作。 查看“用户”列,确定执行特定操作的人员。 如需有关特定操作的详细信息,可以使用它的操作 ID 在 Microsoft Fabric 监视中心进行查找。