使用 Spark UI 诊断成本和性能问题

本指南将指导你了解如何使用 Spark UI 来诊断成本和性能问题。 这是一个分步指南，它是一个实用的操作方法。 它不仅仅是说明 Spark UI 中每个页面的作用，还告诉你应该关注什么以及它的意义。 如果不熟悉驱动程序、辅助角色、执行程序、阶段和任务的概念，可能需要查看 Spark 体系结构。

如果要查找各种优化工具的综合列表，请使用 Databricks 优化指南。 此 Spark UI 指南中引用了优化指南的各个部分。

使用本指南

若要浏览指南，请使用每个页面中嵌入的链接转到下一步。 本指南按顺序包含以下步骤：

1. 使用作业时间线确定主要问题
2. 查看最长的阶段
3. 查找倾斜或溢写
4. 确定最长阶段是否受 I/O 限制
5. 查找慢阶段运行时 的其他原因

让我们开始吧！

如何打开 Spark UI

1. 进入集群页面：

   

2. 单击“Spark UI”：

   

下一步

打开 Spark UI 后，接下来查看事件时间线，了解有关管道或查询的详细信息。 请参阅 作业时间线。