共用方式為


Spark 驅動程式多載

因此,您已判斷您的驅動程式已多載。 最常見的原因是叢集上執行太多並行專案。 這可能是太多串流、查詢或Spark作業(有些客戶會使用線程同時執行許多Spark作業)。

也可能是您正在叢集上執行非 Spark 程式代碼,讓驅動程式保持忙碌。 如果您在時間軸中看到執行非 Spark 程式代碼所造成的差距,這表示您的背景工作角色在差距期間全都閒置且可能浪費金錢。 也許這是刻意和不可避免的,但如果您可以撰寫此程式代碼來使用Spark,您將充分利用叢集。 從 本教學課程 開始,瞭解如何使用Spark。

如果您同時在叢集上執行太多專案,則您有三個選項:

  • 增加驅動程式的大小
  • 減少並行
  • 將負載分散至多個叢集

Azure Databricks 建議您先嘗試將驅動程式的大小加倍,並查看這如何影響您的作業。