Problema conocido: el centro de supervisión muestra una duración en cola incorrecta
Los trabajos de Spark se ponen en cola cuando el uso de la capacidad alcanza su límite máximo de proceso en Spark. Una vez alcanzado el límite, los trabajos se agregan a la cola. A continuación, los trabajos se procesan cuando los núcleos están disponibles en la capacidad. Esta funcionalidad de puesta en cola está habilitada para todos los trabajos en segundo plano en Spark, incluidos los cuadernos de Spark desencadenados desde el programador de trabajos, las canalizaciones y las definiciones de trabajos de Spark. La duración del tiempo que el trabajo está esperando en la cola no se representa correctamente en el centro de supervisión como duración en cola.
Estado: Abierto
Experiencia del producto: Ingeniería de datos
Síntomas
La duración total del trabajo que se muestra en el centro de supervisión incluye actualmente solo el tiempo de ejecución del trabajo. La duración total no refleja correctamente la duración en la que el trabajo ha esperado en la cola.
Soluciones y soluciones alternativas
Cuando el trabajo está en cola, el estado se muestra como No iniciado en la vista de supervisión. Una vez que el trabajo inicia la ejecución, el estado se actualiza a En curso en la vista de supervisión. Use el indicador de estado del trabajo para saber cuándo se pone en cola el trabajo y cuándo está en curso su ejecución.