Känt problem – Fel som inte stöds för äldre tidsstämpel i Fabric Runtime 1.3
När du använder den inbyggda körningsmotorn i Fabric Runtime 1.3 kan det uppstå ett fel om dina data innehåller äldre tidsstämplar. Det här problemet uppstår på grund av kompatibilitetsutmaningar som introducerades när Spark 3.0 övergick till Java 8 date/time-API:et, som använder den proleptiska gregorianska kalendern (SQL ISO-standard). Tidigare Spark-versioner använde en hybrid-Julian-Gregorian kalender, vilket resulterade i potentiella avvikelser vid bearbetning av tidsstämpeldata som skapats av olika Spark-versioner.
status: Öppen
produktupplevelse: datateknik
Symtom
När du använder äldre tidsstämpelstöd i den interna körningsmotorn för Fabric Runtime 1.3 får du ett fel. Felmeddelandet liknar: Error Source: USER. Error Code: UNSUPPORTED. Reason: Reading legacy timestamp is not supported.
Lösningar och lösningar
Mer information om funktionen som åtgärdar det här kända problemet finns i blogginlägget om äldre tidsstämpelstöd. Om du vill aktivera funktionen lägger du till följande i Spark-sessionen: SET spark.gluten.legacy.timestamp.rebase.enabled = true. Datum som är efter 1970 påverkas inte, vilket säkerställer konsekvens utan extra steg.