Bekend probleem- Niet-ondersteunde fout voor verouderde tijdstempel in Fabric Runtime 1.3
Wanneer u de systeemeigen uitvoeringsengine in Fabric Runtime 1.3 gebruikt, kan er een fout optreden als uw gegevens verouderde tijdstempels bevatten. Dit probleem treedt op vanwege compatibiliteitsproblemen die worden geïntroduceerd wanneer Spark 3.0 is overgezet naar de Java 8-datum-/tijd-API, die gebruikmaakt van de Proleptische Gregoriaanse kalender (SQL ISO-standaard). Eerdere Spark-versies maakten gebruik van een hybride Julian-Gregorian kalender, wat resulteert in mogelijke verschillen bij het verwerken van tijdstempelgegevens die zijn gemaakt door verschillende Spark-versies.
Status: Open
Productervaring: Data Engineering
Symptomen
Wanneer u verouderde tijdstempelondersteuning gebruikt in de systeemeigen uitvoeringsengine voor Fabric Runtime 1.3, krijgt u een foutmelding. Het foutbericht is vergelijkbaar met: Error Source: USER. Error Code: UNSUPPORTED. Reason: Reading legacy timestamp is not supported.
Oplossingen en tijdelijke oplossingen
Zie het blogbericht over verouderde tijdstempelondersteuningvoor meer informatie over de functie waarmee dit bekende probleem wordt opgelost. Als u de functie wilt activeren, voegt u het volgende toe aan uw Spark-sessie: SET spark.gluten.legacy.timestamp.rebase.enabled = true. Datums die post-1970 zijn, worden niet beïnvloed, waardoor consistentie zonder extra stappen wordt gegarandeerd.