ปัญหาที่ทราบแล้ว - ข้อผิดพลาดที่ไม่รองรับสําหรับการประทับเวลาเดิมใน Fabric Runtime 1.3
เมื่อใช้กลไกจัดการการดําเนินการดั้งเดิมใน Fabric Runtime 1.3 คุณอาจพบข้อผิดพลาดถ้าข้อมูลของคุณประกอบด้วยประทับเวลาเดิม ปัญหานี้เกิดขึ้นเนื่องจากความท้าทายของความเข้ากันได้ที่แนะนําเมื่อ Spark 3.0 เปลี่ยนเป็น API วันที่/เวลา Java 8 ซึ่งใช้ปฏิทินเกรกอเรียนของ Proleptic (มาตรฐาน SQL ISO) เวอร์ชัน Spark ก่อนหน้านี้ใช้ปฏิทิน Julian-Gregorian แบบไฮบริด ส่งผลให้เกิดความขัดแย้งที่อาจเกิดขึ้นเมื่อประมวลผลข้อมูลประทับเวลาที่สร้างขึ้นด้วยเวอร์ชัน Spark ที่แตกต่างกัน
สถานะ : เปิด
ประสบการณ์ ผลิตภัณฑ์: วิศวกรรมข้อมูล
อาการ
เมื่อใช้การรองรับประทับเวลาเดิมในกลไกการดําเนินการดั้งเดิมสําหรับ Fabric Runtime 1.3 คุณจะได้รับข้อผิดพลาด ข้อความแสดงข้อผิดพลาดจะคล้ายกับ: Error Source: USER. Error Code: UNSUPPORTED. Reason: Reading legacy timestamp is not supported.
โซลูชันและการแก้ไขปัญหาชั่วคราว
สําหรับข้อมูลเพิ่มเติมเกี่ยวกับคุณลักษณะที่แก้ไขปัญหาที่ทราบแล้วนี้ ให้ดูบล็อกโพสต์ ในการสนับสนุนประทับเวลาเดิม เมื่อต้องการเปิดใช้งานคุณลักษณะ ให้เพิ่มสิ่งต่อไปนี้ลงในเซสชัน Spark ของคุณ: SET spark.gluten.legacy.timestamp.rebase.enabled = true วันที่หลังปี 1970 จะไม่ได้รับผลกระทบ ทําให้มั่นใจถึงความสอดคล้องโดยไม่มีขั้นตอนเพิ่มเติม