监视笔记本中的 Spark 作业

Microsoft Fabric 笔记本是基于 Web 的交互式界面,用于开发 Apache Spark 作业和执行机器学习试验。 本文概述了如何监视 Spark 作业的进度、访问 Spark 日志、在笔记本中接收建议,以及导航到 Spark 应用程序详细信息视图或 Spark UI,以获取有关整个笔记本的更全面的监视信息。

监视 Spark 作业进度

Spark 作业进度指示器附带实时进度栏,可帮助你监视每个笔记本单元的作业执行状态。 你可以跨 Spark 作业和阶段查看状态和任务的进度。

屏幕截图显示笔记本单元和 Spark 作业进度列表。

监视资源使用情况

执行程序使用情况图直观地显示 Spark 作业执行程序的分配和资源使用情况。 目前,只有 spark 3.4 及更高版本的运行时信息才会显示此功能。 单击“资源”选项卡,将显示代码单元的资源使用情况折线图。

显示笔记本单元格和代码单元格资源使用情况的屏幕截图。

查看 Spark 顾问建议

内置的 Spark 顾问可实时分析笔记本代码和 Spark 执行,以帮助优化笔记本的运行性能并协助调试失败。 有三种类型的内置建议:信息、警告和错误。 带数字的图标指示每个类别(信息、警告和错误)中分别由 Spark 顾问针对特定笔记本单元生成的建议计数。

若要查看建议,请单击开头的箭头展开并显示详细信息。

显示用于展开详细信息的灯泡的屏幕截图。

展开顾问部分后,会显示一条或多条建议。

屏幕截图显示灯泡和展开框。

Spark 顾问倾斜检测

数据倾斜是用户经常遇到的常见问题。 Spark 顾问支持倾斜检测,如果检测到倾斜,则会在下面显示相应的分析。

屏幕截图显示了数据倾斜分析详细信息。

访问 Spark 实时日志

Spark 日志对于查找异常和诊断性能或失败至关重要。 笔记本中的上下文监视功能会将正在运行的特定单元的日志直接提供给你。 可以搜索日志或按错误和警告进行筛选。

屏幕截图显示代码单元下的实时日志。

如果要在笔记本级别访问有关 Spark 执行的其他信息,可以通过上下文菜单中的选项导航到 Spark 应用程序详细信息页或 Spark UI。

屏幕截图显示访问 Spark UI 和监视详细信息页面。