การเข้ารับสมัครงานใน Apache Spark สําหรับ Microsoft Fabric
นําไปใช้กับ:✅ วิศวกรข้อมูลและวิทยาศาสตร์ข้อมูลใน Microsoft Fabric
Apache Spark for Fabric ใช้เทคนิคการยอมรับงานที่เหมาะสมเพื่อกําหนดข้อกําหนดหลักขั้นต่ําสําหรับงาน Spark กระบวนการนี้สามารถใช้ได้กับงานแบบโต้ตอบหรือชุดงานจากสมุดบันทึก เลคเฮ้าส์ หรือข้อกําหนดงาน Spark ซึ่งขึ้นอยู่กับการตั้งค่าโหนดต่ําสุดของพูล Spark ที่เลือกในการตั้งค่าพื้นที่ทํางานหรือสภาพแวดล้อมที่แนบมา หากพบแกนประมวลผลที่พร้อมใช้งานในความจุ Fabric ที่เชื่อมโยงกับพื้นที่ทํางาน งานจะได้รับการยอมรับและเริ่มต้นการดําเนินการ งานเริ่มต้นด้วยการตั้งค่าโหนดต่ําสุดและสามารถปรับมาตราส่วนขึ้นภายในขีดจํากัดโหนดสูงสุดตามขั้นตอนงาน หากแกนรวมที่ใช้โดยการเรียกใช้งานที่ใช้ความจุ Fabric ต่ํากว่าแกนประมวลผลต่อเนื่องสูงสุดที่กําหนด การเข้างานและการควบคุมการควบคุมชั้นบน Fabric Spark จะอนุญาตให้งานเพิ่มขึ้น
สําหรับข้อมูลเพิ่มเติม ดูขีดจํากัดภาวะพร้อมกันและการจัดคิวใน Microsoft Fabric Spark
การเข้ารับสมัครงานในเชิงบวกทํางานอย่างไร
ใน Fabric กลุ่มเริ่มต้นจะมาพร้อมกับโหนดขั้นต่ําเริ่มต้นในขณะที่กลุ่มแบบกําหนดเองช่วยให้คุณสามารถตั้งค่าโหนดขั้นต่ําตามความต้องการของปริมาณงาน การปรับขนาดอัตโนมัติจะปรับข้อกําหนดการคํานวณสําหรับงาน Spark ในระหว่างขั้นตอนการดําเนินการภายในโหนดต่ําสุดและสูงสุดที่กําหนดค่าไว้ การสมัครงานแบบ Optimistic จะประเมินการส่งงานตามแกนประมวลผลที่พร้อมใช้งานและดําเนินการด้วยแกนขั้นต่ํา ความพยายามที่จะเติบโตตามโหนดที่จัดสรรสูงสุดในระหว่างการดําเนินการ คําขอการเพิ่มขนาดจะได้รับการอนุมัติหากแกน Spark ทั้งหมดที่ใช้อยู่ภายในขีดจํากัดความจุที่จัดสรรไว้
หมายเหตุ
หากการใช้งานถึงขีดจํากัดสูงสุดและแกนทั้งหมดภายในความจุทั้งหมดสําหรับ Fabric กําลังถูกใช้งาน คําขอการปรับมาตราส่วนใดๆ จะถูกปฏิเสธ งานที่ใช้งานอยู่ต้องเสร็จสิ้นหรือยกเลิกเพื่อเพิ่มแกนหลัก
การดําเนินการนี้มีผลต่อภาวะพร้อมกันของงานอย่างไร
ข้อกําหนดหลักขั้นต่ําสําหรับแต่ละงานจะกําหนดว่างานสามารถยอมรับได้หรือไม่ หากความจุถูกใช้อย่างเต็มที่และไม่มีแกนหลักเหลือเพื่อเติมเต็มความต้องการหลักต่ําสุดของงาน งานจะถูกปฏิเสธ งานสมุดบันทึกแบบโต้ตอบหรือการดําเนินการของ Lakehouse จะถูกบล็อกด้วยข้อความแสดงข้อผิดพลาด ไม่สามารถส่งการร้องขอนี้เนื่องจากมีการใช้ความจุทั้งหมดในขณะนี้ ยกเลิกงานที่กําลังทํางานอยู่ในขณะนี้ เพิ่มความจุที่คุณสามารถใช้งานได้ หรือลองอีกครั้งในภายหลัง ชุดงานจะถูกจัดคิวและปฏิบัติการเมื่อแกนพร้อมใช้งาน
ตัวอย่างเช่น พิจารณาสถานการณ์ด้วยผู้ใช้ที่ใช้ประโยชน์จาก Fabric F32 capacity SKU สมมติว่างานทั้งหมดใช้การตั้งค่ากลุ่มเริ่มต้นเริ่มต้นโดยไม่มีการเข้ารับงานที่เหมาะสม กําลังการผลิตจะสนับสนุนการทํางานพร้อมกันสูงสุดของงานสามงาน จํานวนสูงสุดของแกนหลักต่องานจะถูกจัดสรรตามการกําหนดค่าโหนดสูงสุด
ด้วยการรับสมัครงานในเชิงบวกที่มีความจุเดียวกันกับด้านบนสามารถเข้ารับงานได้ 24 งานและดําเนินการโดยใช้การกําหนดค่าโหนดต่ําสุดในระหว่างสถานการณ์ภาวะพร้อมกันสูงสุด เนื่องจากแต่ละงานต้องใช้ 8 Spark VCores ที่การกําหนดค่าโหนดขั้นต่ํามีขนาดปานกลาง
ปรับมาตราส่วนงานด้วยการปรับมาตราส่วนอัตโนมัติ Spark
เมื่อคุณเปิดใช้งานการปรับขนาดอัตโนมัติสําหรับกลุ่ม Spark งานจะดําเนินการด้วยการกําหนดค่าโหนดต่ําสุด ในระหว่างรันไทม์ การปรับมาตราส่วนอาจเกิดขึ้น คําขอเหล่านี้จะผ่านการควบคุมการรับสมัครงาน คําขอที่ได้รับอนุมัติจะปรับขนาดได้ถึงขีดจํากัดสูงสุดตามแกนแกนทั้งหมดที่พร้อมใช้งาน คําขอที่ถูกปฏิเสธจะไม่ส่งผลกระทบต่องานที่ใช้งานอยู่ พวกเขายังคงทํางานด้วยการกําหนดค่าปัจจุบันจนกว่าแกนจะพร้อมใช้งาน
หมายเหตุ
เพื่อให้แน่ใจว่าการจัดสรรหลักสูงสุดสําหรับงานตามการกําหนดค่าโหนดสูงสุดให้ปิดใช้งานการปรับขนาดอัตโนมัติและตั้งค่าโหนดสูงสุดภายใน SKU ความจุของ Fabric ในกรณีนี้เนื่องจากงานไม่มีข้อกําหนดหลักขั้นต่ํามันจะเริ่มทํางานเมื่อแกนฟรีพร้อมใช้งานปรับมาตราส่วนขึ้นเป็นผลรวมที่กําหนดค่าไว้ ถ้าความจุใช้ทั้งหมด งานแบบโต้ตอบของสมุดบันทึกอาจช้าลงหรืออยู่ในคิว งานที่จัดคิวจะลองใหม่โดยอัตโนมัติเมื่อแกนพร้อมใช้งาน
เนื้อหาที่เกี่ยวข้อง
- เริ่มต้นใช้งานการตั้งค่าการดูแลระบบพื้นที่ทํางาน Spark ใน Microsoft Fabric
- เรียนรู้เกี่ยวกับ Spark compute สําหรับวิศวกรรมข้อมูล Fabric และวิทยาศาสตร์ข้อมูล
- เรียนรู้เพิ่มเติมเกี่ยวกับขีดจํากัดของภาวะพร้อมกันและการเข้าคิวสําหรับ Fabric Spark