已知问题 - Fabric Runtime 1.3 中的旧时间戳不支持的错误
在 Fabric Runtime 1.3 中使用本机执行引擎时,如果数据包含旧时间戳,可能会遇到错误。 此问题是由于 Spark 3.0 转换到 Java 8 日期/时间 API(使用 Proleptic 公历(SQL ISO 标准)时引入的兼容性挑战引起的。 早期 Spark 版本利用了混合 Julian-Gregorian 日历,在处理由不同 Spark 版本创建的时间戳数据时可能存在差异。
状态:待解决
产品体验:数据工程
症状
在 Fabric Runtime 1.3 的本机执行引擎中使用旧时间戳支持时,会收到错误。 错误消息类似于:Error Source: USER. Error Code: UNSUPPORTED. Reason: Reading legacy timestamp is not supported.
解决方案和解决方法
有关解决此已知问题的功能的详细信息,请参阅有关旧时间戳支持的博客文章。 若要激活该功能,请将以下内容添加到 Spark 会话:SET spark.gluten.legacy.timestamp.rebase.enabled = true
。 1970 年之后的日期不受影响,确保一致性而无需额外步骤。