Compartir a través de

Controlador Spark sobrecargado

  • Artículo

Ha determinado que el controlador está sobrecargado. La razón más común para esto es que hay demasiados elementos simultáneos ejecutándose en el clúster. Esto podría ser demasiados flujos, consultas o trabajos de Spark (algunos clientes usan subprocesos para ejecutar muchos trabajos de Spark simultáneamente).

También podría ser que está ejecutando código que no es de Spark en el clúster, lo que mantiene ocupado al controlador. Si ve brechas en la escala de tiempo causadas por la ejecución de código que no es de Spark, esto significa que los trabajadores están inactivos y probablemente desperdician dinero durante las brechas. Tal vez esto sea intencionado e inevitable, pero si puede escribir este código para usar Spark, usará completamente el clúster. Comience con este tutorial para aprender a trabajar con Spark.

Si tiene demasiadas cosas ejecutándose en el clúster simultáneamente, tiene tres opciones:

  • Aumentar el tamaño del controlador
  • Reducir la simultaneidad
  • Propagar la carga entre varios clústeres

Azure Databricks recomienda primero intentar duplicar el tamaño del controlador y ver cómo afecta a su trabajo.