Problema noto - Errore non supportato per il timestamp legacy in Fabric Runtime 1.3
Quando si usa il motore di esecuzione nativo in Fabric Runtime 1.3, è possibile che si verifichi un errore se i dati contengono timestamp legacy. Questo problema si verifica a causa di problemi di compatibilità introdotti quando Spark 3.0 è passato all'API di data/ora Java 8, che usa il calendario gregoriano proleptico (standard ISO SQL). Le versioni precedenti di Spark utilizzavano un calendario ibrido Julian-Gregorian, causando potenziali discrepanze durante l'elaborazione dei dati di timestamp creati da diverse versioni di Spark.
Status: Aperto
Esperienza di Prodotto: Ingegneria dei Dati
Sintomi
Quando si usa il supporto del timestamp legacy nel motore di esecuzione nativo per Fabric Runtime 1.3, viene visualizzato un errore. Il messaggio di errore è simile al seguente: Error Source: USER. Error Code: UNSUPPORTED. Reason: Reading legacy timestamp is not supported.
Soluzioni e soluzioni alternative
Per altre informazioni sulla funzionalità che risolve questo problema noto, vedere il post di blog sul supporto del timestamp legacy. Per attivare la funzionalità, aggiungere quanto segue alla sessione di Spark: SET spark.gluten.legacy.timestamp.rebase.enabled = true. Le date successive al 1970 non sono interessate, garantendo la coerenza senza passaggi aggiuntivi.