Kendt problem – Ikke-understøttet fejl for ældre tidsstempel i Fabric Runtime 1.3
Når du bruger det oprindelige udførelsesprogram i Fabric Runtime 1.3, kan der opstå en fejl, hvis dine data indeholder ældre tidsstempler. Dette problem opstår på grund af kompatibilitetsudfordringer, der blev introduceret, da Spark 3.0 blev overgået til Java 8-dato-/klokkeslæt-API'en, som bruger den proleptice gregorianske kalender (SQL ISO-standard). Tidligere Spark-versioner brugte en hybrid Julian-Gregorian kalender, hvilket resulterede i potentielle uoverensstemmelser under behandling af tidsstempeldata, der er oprettet af forskellige Spark-versioner.
status: åbn
produktoplevelse: Data Engineering
Symptomer
Når du bruger understøttelse af ældre tidsstempel i det oprindelige udførelsesprogram til Fabric Runtime 1.3, får du vist en fejl. Fejlmeddelelsen ligner: Error Source: USER. Error Code: UNSUPPORTED. Reason: Reading legacy timestamp is not supported.
Løsninger og løsninger
Du kan få flere oplysninger om den funktion, der løser dette kendte problem, i blogindlæg om understøttelse af ældre tidsstempel. Hvis du vil aktivere funktionen, skal du føje følgende til spark-sessionen: SET spark.gluten.legacy.timestamp.rebase.enabled = true. Datoer, der er efter 1970, påvirkes ikke, så der sikres ensartethed uden ekstra trin.