已知問題 - Fabric Runtime 1.3 中舊版時間戳記不被支持的錯誤
在 Fabric Runtime 1.3 中使用原生執行引擎時,如果您的數據包含舊版時間戳,您可能會遇到錯誤。 此問題是因為 Spark 3.0 轉換至 Java 8 日期/時間 API 時所引進的相容性挑戰,而 API 會使用 Proleptic 公曆(SQL ISO 標準)。 舊版 Spark 使用混合式 Julian-Gregorian 行事曆,在處理不同 Spark 版本所建立的時間戳數據時,會產生潛在的差異。
狀態: 開啟
產品體驗: 數據工程
癥狀
在 Fabric Runtime 1.3 的原生執行引擎中使用舊版時間戳支援時,您會收到錯誤。 錯誤訊息類似於:Error Source: USER. Error Code: UNSUPPORTED. Reason: Reading legacy timestamp is not supported.
解決方案和因應措施
如需了解解決此已知問題的功能的更多資訊,請參閱 部落格文章中關於舊版時間戳支援的內容。 若要啟用此功能,請將下列內容新增至您的 Spark 工作階段:SET spark.gluten.legacy.timestamp.rebase.enabled = true
。 1970 年之後的日期不會受到影響,可確保沒有額外步驟的一致性。