Problema conocido: es posible que se produzca un error en los trabajos de Spark debido a actualizaciones de Runtime 1.3 para disponibilidad general
Microsoft Fabric Runtime 1.3 basado en Apache Spark 3.5 entró en disponibilidad general (GA) el 23 de septiembre de 2024. Fabric Runtime 1.3 ahora se puede usar para cargas de trabajo de producción. Como parte de la transición de la versión preliminar pública a la fase de disponibilidad general, publicamos actualizaciones principales de la biblioteca integrada para mejorar la funcionalidad, la seguridad, la confiabilidad y el rendimiento. Estas actualizaciones pueden afectar a los entornos de Microsoft Fabric si instaló bibliotecas o invalidó la versión de biblioteca integrada con Runtime 1.3.
Estado: Abierto
Experiencia del producto: Ingeniería de datos
Síntomas
Si instaló los entornos con bibliotecas con Runtime 1.3, el trabajo de Spark comienza a producir un error similar a Post Personalization failed. Es posible que se produzca un error en la importación de bibliotecas personalizadas instaladas debido a que se actualizan las bibliotecas integradas subyacentes.
Soluciones y soluciones alternativas
Vuelva a instalar las bibliotecas de Fabric Runtime 1.3 en los entornos de Microsoft Fabric. La reinstalación compila la nueva dependencia en función de las actualizaciones más recientes. Si las bibliotecas personalizadas tienen dependencias incompatibles en paquetes integrados de Python, se produce un error en la instalación y se genera un registro de depuración automática con la lista de versiones necesarias. Puede actualizar las dependencias para que las bibliotecas personalizadas sean compatibles. Es posible que haya incompatibilidades o cambios importantes en el cuaderno o canalización existentes a medida que se cambiaron los paquetes subyacentes de Python. Debe volver a consultar el código para mitigarlo.