Kjent problem - Feil som ikke støttes for eldre tidsstempel i Fabric Runtime 1.3
Når du bruker den opprinnelige kjøringsmotoren i Fabric Runtime 1.3, kan det oppstå en feil hvis dataene inneholder eldre tidsstempel. Dette problemet oppstår på grunn av kompatibilitetsutfordringer som ble innført da Spark 3.0 gikk over til API-en for dato/klokkeslett for Java 8, som bruker den proleptiske gregorianske kalenderen (SQL ISO-standard). Tidligere Spark-versjoner benyttet en hybrid Julian-Gregorian kalender, noe som resulterte i potensielle avvik ved behandling av tidsstempeldata opprettet av forskjellige Spark-versjoner.
status: åpne
produktopplevelse: datateknikk
Symptomer
Når du bruker eldre tidsstempelstøtte i opprinnelig kjøringsmotor for Fabric Runtime 1.3, får du en feilmelding. Feilmeldingen ligner på: Error Source: USER. Error Code: UNSUPPORTED. Reason: Reading legacy timestamp is not supported.
Løsninger og midlertidige løsninger
Hvis du vil ha mer informasjon om funksjonen som løser dette kjente problemet, kan du se blogginnlegg om eldre tidsstempelstøtte. Hvis du vil aktivere funksjonen, legger du til følgende i Spark-økten: SET spark.gluten.legacy.timestamp.rebase.enabled = true. Datoer som er etter 1970, påvirkes ikke, noe som sikrer konsekvens uten ekstra trinn.