Problème connu – Erreur non prise en charge pour l’horodatage hérité dans Fabric Runtime 1.3
Lorsque vous utilisez le moteur d’exécution natif dans Fabric Runtime 1.3, vous pouvez rencontrer une erreur si vos données contiennent des horodatages hérités. Ce problème se produit en raison de problèmes de compatibilité introduits lors de la transition de Spark 3.0 vers l’API de date/heure Java 8, qui utilise le calendrier grégorien proleptique (norme ISO SQL). Les versions antérieures de Spark utilisaient un calendrier de Julian-Gregorian hybride, ce qui entraînait des différences potentielles lors du traitement des données d’horodatage créées par différentes versions de Spark.
État : ouvert
Expérience Produit : Ingénierie des Données
Symptômes
Vous recevez une erreur lors de l’utilisation de la prise en charge de l’horodatage hérité dans le moteur d’exécution natif de Fabric Runtime 1.3. Le message d’erreur est similaire à : Error Source: USER. Error Code: UNSUPPORTED. Reason: Reading legacy timestamp is not supported.
Solutions et solutions de contournement
Pour plus d’informations sur la fonctionnalité qui résout ce problème connu, consultez le billet de blog sur la prise en charge des horodatages hérités. Pour activer la fonctionnalité, ajoutez ce qui suit à votre session Spark : SET spark.gluten.legacy.timestamp.rebase.enabled = true. Les dates postérieures à 1970 ne sont pas affectées, ce qui garantit la cohérence sans étapes supplémentaires.