既知の問題 - Fabric Runtime 1.3 のレガシ タイムスタンプのサポートされていないエラー
Fabric Runtime 1.3 でネイティブ実行エンジンを使用すると、データにレガシ タイムスタンプが含まれている場合にエラーが発生する可能性があります。 この問題は、Spark 3.0 が Proleptic グレゴリオ暦 (SQL ISO 標準) を使用する Java 8 日付/時刻 API に移行したときに発生する互換性の問題が原因で発生します。 以前のバージョンの Spark では、ハイブリッド Julian-Gregorian カレンダーが使用されていました。その結果、さまざまな Spark バージョンによって作成されたタイムスタンプ データを処理するときに、不一致が発生する可能性があります。
のステータス: オープン
製品エクスペリエンス: データ エンジニアリング
症状
Fabric Runtime 1.3 のネイティブ実行エンジンでレガシ タイムスタンプ サポートを使用すると、エラーが発生します。 エラー メッセージは次のようになります: Error Source: USER. Error Code: UNSUPPORTED. Reason: Reading legacy timestamp is not supported.
解決策と回避策
この既知の問題に対処する機能の詳細については、従来のタイムスタンプサポート に関するブログ記事を参照してください。 この機能をアクティブにするには、Spark セッションに次のコードを追加します:SET spark.gluten.legacy.timestamp.rebase.enabled = true。 1970 年より後の日付は影響を受けず、追加の手順なしで一貫性が確保されます。