แชร์ผ่าน

Fabric Runtime 1.1 (EOSA)

  • บทความ

Microsoft Fabric Runtime เป็นแพลตฟอร์มที่รวมเข้ากับ Azure โดย Apache Spark ที่ช่วยให้สามารถดําเนินการและจัดการประสบการณ์ด้านการวิศวกรข้อมูลและวิทยาศาสตร์ข้อมูลใน Fabric ได้ เอกสารนี้ครอบคลุมคอมโพเนนต์และเวอร์ชันของ Fabric Runtime 1.1

คำเตือน

วันที่สิ้นสุดการสนับสนุนสําหรับ Runtime 1.1 ได้รับการประกาศเป็นวันที่ 12 กรกฎาคม 2024 รันไทม์ 1.1 ขึ้นอยู่กับ Apache Spark 3.3 จะถูกยกเลิกและปิดใช้งานในวันที่ 31 มีนาคม 2025 อัปเกรดพื้นที่ทํางาน และสภาพแวดล้อมของคุณเป็น Runtime 1.2 หรือ Runtime 1.3 สําหรับวงจรชีวิตที่สมบูรณ์และนโยบายการสนับสนุนของรันไทม์ Apache Spark ใน Fabric โปรดดูที่ วงจรชีวิตของรันไทม์ Apache Spark ใน Fabric

Microsoft Fabric Runtime 1.1 เป็นหนึ่งในรันไทม์ที่นําเสนอภายในแพลตฟอร์ม Microsoft Fabric คอมโพเนนต์หลัก Runtime 1.1 คือ:

  • Apache Spark 3.3
  • ระบบปฏิบัติการ: Ubuntu 18.04
  • Java: 1.8.0_282
  • สเกลา: 2.12.15
  • Python: 3.10
  • ทะเลสาบเดลต้า: 2.2
  • R: 4.2.2

เคล็ดลับ

ใช้เวอร์ชันรันไทม์ GA ล่าสุดเสมอสําหรับปริมาณงานการผลิตของคุณ ซึ่งปัจจุบันคือ Runtime 1.3

Microsoft Fabric Runtime 1.1 มาพร้อมกับคอลเลกชันของแพคเกจระดับเริ่มต้น รวมถึงการติดตั้ง Anaconda แบบเต็มและไลบรารีที่ใช้งานทั่วไปสําหรับ Java/Scala, Python และ R ไลบรารีเหล่านี้จะรวมโดยอัตโนมัติเมื่อใช้สมุดบันทึกหรืองานในแพลตฟอร์ม Microsoft Fabric โปรดดูเอกสารประกอบสําหรับรายการไลบรารีทั้งหมด

Microsoft Fabric จะเผยแพร่การอัปเดตการบํารุงรักษาสําหรับ Runtime 1.1 เป็นระยะ ๆ ส่งมอบการแก้ไขข้อบกพร่อง การปรับปรุงประสิทธิภาพ การทํางาน และโปรแกรมแก้ไขการรักษาความปลอดภัย ทําให้แน่ใจว่าคุณได้รับข้อมูลล่าสุดด้วยการอัปเดตเหล่านี้รับประกันประสิทธิภาพและความน่าเชื่อถือที่ดีที่สุดสําหรับงานการประมวลผลข้อมูลของคุณ ถ้าคุณกําลังใช้ Runtime 1.1 คุณสามารถอัปเกรดเป็น Runtime 1.3 หรือเป็น Runtime 1.2 โดยการนําทางไปยังการตั้งค่า>พื้นที่ทํางานวิศวกรข้อมูล / สภาพแวดล้อม Science > Spark Settings >

สกรีนช็อตแสดงตําแหน่งที่จะเลือกเวอร์ชันรันไทม์

คุณลักษณะใหม่และการปรับปรุง - Apache Spark 3.3.1

อ่านเวอร์ชันเต็มของบันทึกย่อประจํารุ่นสําหรับ Apache Spark เวอร์ชันเฉพาะ โดยไปที่ทั้ง Spark 3.3.0 และ Spark 3.3.1

คุณลักษณะใหม่และการปรับปรุง - Delta Lake 2.2

ตรวจสอบแหล่งที่มาและบันทึกย่อประจํารุ่นเต็มที่ Delta Lake 2.2.0

แพคเกจระดับเริ่มต้นสําหรับ Java/Scala

สําหรับรายการแพคเกจระดับเริ่มต้นทั้งหมดสําหรับ Java, Scala, Python และเวอร์ชันที่เกี่ยวข้อง ดู บันทึกย่อประจํารุ่น

การโยกย้ายระหว่าง Apache Spark เวอร์ชันอื่น

การย้ายปริมาณงานของคุณไปยัง Fabric Runtime 1.1 (Apache Spark 3.3) จาก Apache Spark เวอร์ชันเก่าเกี่ยวข้องกับชุดขั้นตอนเพื่อให้แน่ใจว่าการโยกย้ายข้อมูลเป็นไปอย่างราบรื่น คู่มือนี้จะสรุปขั้นตอนที่จําเป็นเพื่อช่วยให้คุณโยกย้ายได้อย่างมีประสิทธิภาพและมีประสิทธิภาพ

  1. ตรวจสอบบันทึกย่อประจํารุ่น Fabric Runtime 1.1 รวมถึงการตรวจสอบคอมโพเนนต์และแพคเกจระดับเริ่มต้นที่รวมอยู่ในรันไทม์ เพื่อทําความเข้าใจคุณลักษณะใหม่ ๆ และการปรับปรุง

  2. ตรวจสอบความเข้ากันได้ของการตั้งค่าปัจจุบันของคุณและไลบรารีที่เกี่ยวข้องทั้งหมด รวมถึงการขึ้นต่อกันและการรวม ตรวจทานคู่มือการโยกย้ายเพื่อระบุการเปลี่ยนแปลงที่อาจขัดข้อง:

    • ตรวจทานคู่มือการโยกย้าย Spark Core
    • ตรวจทานคู่มือการโยกย้าย SQL, ชุดข้อมูล และ DataFrame
    • ถ้าโซลูชันของคุณเกี่ยวข้องกับการสตรีมโครงสร้าง Apache Spark ให้ตรวจสอบ คู่มือการโยกย้ายแบบมีโครงสร้าง
    • ถ้าคุณใช้ PySpark ให้ดู คู่มือการโยกย้าย Pyspark
    • หากคุณย้ายรหัสจาก Koalas ไปยัง PySpark ให้ตรวจสอบ Koalas ไปยัง pandas API ในคู่มือการโยกย้าย Spark

  3. ย้ายปริมาณงานของคุณไปยัง Fabric และตรวจสอบให้แน่ใจว่าคุณมีข้อมูลสํารองและไฟล์การกําหนดค่าของคุณในกรณีที่คุณต้องการแปลงกลับเป็นเวอร์ชันก่อนหน้า

  4. ปรับปรุงการขึ้นต่อกันใดๆ ที่ Apache Spark เวอร์ชันใหม่หรือคอมโพเนนต์อื่น ๆ ที่เกี่ยวข้องกับ Fabric Runtime 1.1 อาจได้รับผลกระทบ รวมถึงไลบรารีหรือตัวเชื่อมต่อของบุคคลที่สาม ตรวจสอบให้แน่ใจว่าได้ทดสอบการขึ้นต่อกันที่อัปเดตแล้วในสภาพแวดล้อมการแสดงข้อมูลก่อนปรับใช้กับการผลิต

  5. อัปเดตการกําหนดค่า Apache Spark ในปริมาณงานของคุณ รวมถึงการอัปเดตการตั้งค่าการกําหนดค่า ปรับการจัดสรรหน่วยความจํา และปรับเปลี่ยนการกําหนดค่าที่เลิกใช้แล้ว

  6. ปรับเปลี่ยนแอปพลิเคชัน Apache Spark (โน้ตบุ๊คและข้อกําหนดงาน Apache Spark) เพื่อใช้ API และคุณลักษณะใหม่ที่เปิดตัวใน Fabric Runtime 1.1 และ Apache Spark 3.3 คุณอาจต้องอัปเดตโค้ดของคุณเพื่อรองรับ API ที่ไม่สนับสนุนหรือลบออก และปรับโครงสร้างแอปพลิเคชันของคุณใหม่เพื่อใช้ประโยชน์จากการปรับปรุงประสิทธิภาพและฟังก์ชันการทํางานใหม่

  7. ทดสอบแอปพลิเคชันที่อัปเดตแล้วของคุณอย่างถี่ถ้วนในสภาพแวดล้อมสเตจจิ้งเพื่อให้แน่ใจว่าสามารถใช้งานร่วมกันได้และความเสถียรกับ Apache Spark 3.3 ดําเนินการทดสอบประสิทธิภาพ การทดสอบการทํางาน และการทดสอบการถดถอยเพื่อระบุและแก้ไขปัญหาที่อาจเกิดขึ้นในระหว่างกระบวนการโยกย้ายข้อมูล

  8. หลังจากตรวจสอบแอปพลิเคชันของคุณในสภาพแวดล้อมการจัดเตรียมให้ปรับใช้แอปพลิเคชันที่อัปเดตแล้วไปยังสภาพแวดล้อมการผลิตของคุณ ตรวจสอบประสิทธิภาพและความเสถียรของแอปพลิเคชันของคุณหลังจากการโยกย้ายเพื่อระบุปัญหาที่จําเป็นต้องได้รับการแก้ไข

  9. อัปเดตเอกสารประกอบภายในและเอกสารการฝึกอบรมของคุณเพื่อแสดงการเปลี่ยนแปลงที่นํามาใช้ใน Fabric Runtime 1.1 ตรวจสอบให้แน่ใจว่าสมาชิกในทีมของคุณคุ้นเคยกับคุณลักษณะใหม่และการปรับปรุงเพื่อเพิ่มประโยชน์ของการโยกย้ายข้อมูล

เนื้อหาที่เกี่ยวข้อง