Problema conocido: error no admitido para la marca de tiempo heredada en Fabric Runtime 1.3
Al usar el motor de ejecución nativo en Fabric Runtime 1.3, podría producirse un error si los datos contienen marcas de tiempo heredadas. Este problema se produce debido a los desafíos de compatibilidad introducidos cuando Spark 3.0 ha pasado a la API de fecha y hora de Java 8, que usa el calendario gregoriano proleptico (estándar ISO de SQL). Las versiones anteriores de Spark usaron un calendario de Julian-Gregorian híbrido, lo que da lugar a posibles discrepancias al procesar datos de marca de tiempo creados por diferentes versiones de Spark.
Estado: Abierto
Experiencia del producto: Ingeniería de datos
Síntomas
Al usar el soporte para marcas de tiempo heredadas en el motor de ejecución nativo para Fabric Runtime 1.3, se producirá un error. El mensaje de error es similar a: Error Source: USER. Error Code: UNSUPPORTED. Reason: Reading legacy timestamp is not supported.
Soluciones y soluciones alternativas
Para obtener más información sobre la característica que soluciona este problema conocido, consulte la entrada de blog sobre la compatibilidad con marca de tiempo heredada. Para activar la característica, agregue lo siguiente a la sesión de Spark: SET spark.gluten.legacy.timestamp.rebase.enabled = true. Las fechas posteriores a 1970 no se ven afectadas, lo que garantiza la coherencia sin pasos adicionales.