Известная проблема – ошибка из-за неподдерживаемой устаревшей временной метки в среде выполнения Fabric 1.3
При использовании собственного обработчика выполнения в Среде выполнения Fabric 1.3 может возникнуть ошибка, если данные содержат устаревшие метки времени. Эта проблема возникает из-за проблем совместимости, возникающих при переходе Spark 3.0 на API даты и времени Java 8, который использует пролептический григорианский календарь (стандарт ISO SQL). В более ранних версиях Spark используется гибридный календарь Julian-Gregorian, что приводит к потенциальным несоответствиям при обработке данных метки времени, созданных различными версиями Spark.
состояние : Открыто
Опыт использования продукта: Инженерия данных
Симптомы
При использовании устаревшей поддержки метки времени в собственном обработчике выполнения для Среды выполнения Fabric 1.3 возникает ошибка. Сообщение об ошибке аналогично: Error Source: USER. Error Code: UNSUPPORTED. Reason: Reading legacy timestamp is not supported.
Решения и обходные пути
Дополнительные сведения о функции, которая устраняет эту известную проблему, см. в записи блога о поддержке устаревших меток времени. Чтобы активировать эту функцию, добавьте следующее в сеанс Spark: SET spark.gluten.legacy.timestamp.rebase.enabled = true. Даты, которые после 1970 года не затрагиваются, обеспечивая согласованность без дополнительных шагов.