แชร์ผ่าน

ขีดจํากัดภาวะพร้อมกันและการจัดคิวใน Apache Spark สําหรับ Microsoft Fabric

  • บทความ

นําไปใช้กับ:✅ วิศวกรข้อมูลและวิทยาศาสตร์ข้อมูลใน Microsoft Fabric

Microsoft Fabric ช่วยให้มีการจัดสรรหน่วยการคํานวณผ่านความจุ ซึ่งเป็นชุดทรัพยากรเฉพาะที่พร้อมใช้งานในเวลาที่กําหนด ความจุจะกําหนดความสามารถของทรัพยากรในการดําเนินการกิจกรรมหรือเพื่อสร้างเอาต์พุต รายการต่าง ๆ ใช้ความจุที่แตกต่างกันในบางช่วงเวลา Microsoft Fabric ให้ความจุผ่าน Fabric SKU และการทดลองใช้งาน สําหรับข้อมูลเพิ่มเติม ให้ดู ความจุคืออะไร

เมื่อผู้ใช้สร้างความจุ Microsoft Fabric บน Azure พวกเขาเลือกขนาดความจุตามขนาดปริมาณงานการวิเคราะห์ของพวกเขา ใน Apache Spark ผู้ใช้จะได้รับ Apache Spark VCores สองตัวสําหรับทุกหน่วยความจุที่พวกเขาสํารองไว้เป็นส่วนหนึ่งของ SKU ของพวกเขา

หนึ่งหน่วยความจุ = Spark VCores สองตัว

เมื่อพวกเขาซื้อความจุแล้ว ผู้ดูแลระบบสามารถสร้างพื้นที่ทํางานภายในความจุใน Microsoft Fabric ได้ เครื่อง Spark VCores ที่เกี่ยวข้องกับความจุจะถูกแชร์ระหว่างรายการที่ใช้ Apache Spark ทั้งหมด เช่น สมุดบันทึก ข้อกําหนดงาน Apache Spark และเลคเฮ้าส์ที่สร้างขึ้นในพื้นที่ทํางานเหล่านี้

การควบคุมภาวะพร้อมกันและการจัดคิว

Spark for Fabric บังคับใช้การควบคุมปริมาณและกลไกการเข้าคิวตามแกน ซึ่งผู้ใช้สามารถส่งงานตาม SKU ความจุ Fabric ที่ซื้อได้ กลไกการคิวเป็นคิวตาม FIFO อย่างง่ายซึ่งจะตรวจสอบช่องงานที่มีอยู่และลองงานใหม่โดยอัตโนมัติเมื่อความจุพร้อมใช้งาน เมื่อผู้ใช้ส่งโน้ตบุ๊คหรืองานของเลคเฮ้าส์ เช่น โหลดไปยังตารางเมื่อความจุของพวกเขาอยู่ในการใช้งานสูงสุดเนื่องจากการทํางานพร้อมกันโดยใช้ Spark Vcores ทั้งหมดที่พร้อมใช้งานสําหรับ SKU ความจุ Fabric ที่ซื้อของพวกเขา พวกเขาจะถูกจํากัดผลลัพธ์ด้วยข้อความ

รหัสการตอบสนองของ HTTP 430: ไม่สามารถเรียกใช้งาน Spark นี้ได้ เนื่องจากคุณได้จํานวนการคํานวณ Spark หรือขีดจํากัดอัตรา API แล้ว เมื่อต้องการเรียกใช้งาน Spark นี้ ให้ยกเลิกงาน Spark ที่ใช้งานอยู่ผ่านฮับการตรวจสอบ หรือเลือก SKU ความจุขนาดใหญ่หรือลองอีกครั้งในภายหลัง

เมื่อเปิดใช้งานการเข้าคิว งานสมุดบันทึกที่ถูกทริกเกอร์จากไปป์ไลน์และตัวจัดกําหนดการงาน และข้อกําหนดงาน Spark จะถูกเพิ่มไปยังคิวและจะลองใหม่โดยอัตโนมัติเมื่อเพิ่มความจุ การหมดอายุของคิวถูกตั้งค่าเป็น 24 ชั่วโมงจากเวลาส่งงาน หลังจากรอบระยะเวลานี้ งานจะต้องถูกส่งอีกครั้ง

ความจุของผ้าจะเปิดใช้งานด้วย bursting ซึ่งช่วยให้คุณสามารถใช้แกนประมวลผลพิเศษนอกเหนือจากสิ่งที่ซื้อเพื่อเพิ่มความเร็วในการดําเนินการของปริมาณงาน สําหรับปริมาณงาน Apache Spark ที่ต่อเนื่องช่วยให้ผู้ใช้สามารถส่งงานได้โดยมีจํานวน 3 เท่าของ Spark VCores ที่ซื้อ

หมายเหตุ

ปัจจัยการระเบิดเพิ่มจํานวนทั้งหมดของ Spark VCores เพื่อช่วยในการเกิดพร้อมกันเท่านั้น แต่ไม่เพิ่มแกนหลักสูงสุดต่องาน ผู้ใช้ไม่สามารถส่งงานที่จําเป็นต้องมีแกนมากกว่าที่ความจุ Fabric ของพวกเขาเสนอได้

ส่วนต่อไปนี้แสดงรายการขีดจํากัดตามแกนต่างๆ สําหรับปริมาณงาน Spark ที่ยึดตาม SKU ของความจุ Microsoft Fabric:

ความจุผ้า SKU Power BI SKU ที่เทียบเท่า Spark VCores Max Spark VCores พร้อมปัจจัยต่อเนื่อง ขีดจํากัดคิว
F2 - 4 20 4
F4 - 8 24 4
F8 - 16 48 8
F16 - 32 96 16
F32 - 64 192 32
F64 P1 128 384 64
F128 P2 256 768 128
F256 P3 512 1536 256
F512 P4 1024 3072 512
F1024 - 2048 6144 1024
F2048 - 4096 12288 2048
ความจุรุ่นทดลองใช้ P1 128 128 NA

การคํานวณตัวอย่าง: F64 SKU เสนอ 128 Spark VCores ปัจจัยการระเบิดที่ใช้กับ F64 SKU คือ 3 ซึ่งให้ผลรวมของ 384 Spark Vcores ปัจจัยการเกิดซ้ําจะถูกนําไปใช้เพื่อช่วยในภาวะพร้อมกันและไม่เพิ่มแกนสูงสุดที่พร้อมใช้งานสําหรับงาน Spark เดียว ซึ่งหมายความว่า ข้อกําหนดงานของสมุดบันทึกหรือ Spark เดียวหรืองาน ของเลคเฮ้าส์สามารถใช้การกําหนดค่าพูลของสูงสุด 128 vCores และ 3 งานที่มีการกําหนดค่าเดียวกันที่สามารถเรียกใช้พร้อมกันได้ ถ้าสมุดบันทึกกําลังใช้การกําหนดค่าการคํานวณที่มีขนาดเล็กกว่า จะสามารถเรียกใช้งานพร้อมกันได้จนกว่าจะถึงขีดจํากัดการใช้งานสูงสุดถึงขีดจํากัด 384 SparkVcore

หมายเหตุ

งานมีรอบระยะเวลาการหมดอายุของคิว 24 ชั่วโมง หลังจากนั้นงานจะถูกยกเลิก และผู้ใช้ต้องส่งรอบระยะเวลาดังกล่าวอีกครั้งเพื่อดําเนินงาน

Spark สําหรับการจํากัดผลลัพธ์ Fabric ไม่ได้บังคับใช้ขีดจํากัดตามงานโดยพลการและการควบคุมจะขึ้นอยู่กับจํานวนแกนที่ได้รับอนุญาตสําหรับ SKU ความจุของผ้าที่ซื้อเท่านั้น การเข้ารับงานตามค่าเริ่มต้นจะเป็นการควบคุมการรับเข้าศึกษาในเชิงบวกซึ่งจะยอมรับงานตามความต้องการ core ขั้นต่ําของพวกเขา เรียนรู้เพิ่มเติมเกี่ยวกับการยอมรับ งานในเชิงบวกและการจัดการ ถ้ามีการเลือกตัวเลือกกลุ่มเริ่มต้น (เริ่มพูล) สําหรับพื้นที่ทํางาน ตารางต่อไปนี้แสดงรายการขีดจํากัดสูงสุดของงานการเกิดพร้อมกัน

เรียนรู้เพิ่มเติมเกี่ยวกับการกําหนดค่าพูลเริ่มต้นตามกําลังการผลิตของ Fabric SKU การกําหนดค่ากลุ่ม Starter

การโพสระดับงาน

ผู้ดูแลระบบสามารถกําหนดค่ากลุ่ม Apache Spark เพื่อใช้ประโยชน์จากแกน Spark สูงสุดด้วยปัจจัยต่อเนื่องที่พร้อมใช้งานสําหรับความจุทั้งหมด ตัวอย่างเช่น ผู้ดูแลระบบพื้นที่ทํางานที่มีพื้นที่ทํางานของพวกเขาแนบมากับความจุผ้า F64 ตอนนี้สามารถกําหนดค่าพูล Spark (กลุ่มเริ่มต้นหรือพูลแบบกําหนดเอง) ไปยัง 384 Spark VCores ซึ่งสามารถตั้งค่าโหนดสูงสุดของพูล Starter เป็น 48 หรือผู้ดูแลระบบสามารถตั้งค่ากลุ่มโหนดขนาดใหญ่ XX ที่มีโหนดสูงสุด 6 โหนด

เนื้อหาที่เกี่ยวข้อง