การจัดการปริมาณงาน
นําไปใช้กับ:✅ จุดสิ้นสุดการวิเคราะห์ SQL และ Warehouse ใน Microsoft Fabric
บทความนี้อธิบายสถาปัตยกรรมและการจัดการปริมาณงานเบื้องหลังคลังข้อมูลใน Microsoft Fabric
การประมวลผลข้อมูล
จุดสิ้นสุด Warehouse และ SQL analytics จะแชร์สถาปัตยกรรมการประมวลผลพื้นฐานเดียวกัน เมื่อมีการดึงข้อมูลหรือนําเข้า ข้อมูลจะใช้กลไกแบบกระจายที่สร้างขึ้นสําหรับข้อมูลขนาดเล็กและขนาดใหญ่และฟังก์ชันการคํานวณ
ระบบการประมวลผลนั้นไม่มีเซิร์ฟเวอร์ในความจุการคํานวณ Backend จะปรับขนาดขึ้นและลงโดยอัตโนมัติเพื่อตอบสนองความต้องการปริมาณงาน
เมื่อมีการส่งคิวรี SQL frontend (FE) ดําเนินการปรับคิวรีให้เหมาะสมเพื่อกําหนดแผนที่ดีที่สุดตามขนาดข้อมูลและความซับซ้อน เมื่อสร้างแผนแล้ว ระบบจะมอบให้กับกลไกจัดการการประมวลผลคิวรีแบบกระจาย (DQP) DQP จะกระจายการดําเนินการของคิวรีโดยแยกออกเป็นคิวรีที่มีขนาดเล็กกว่าที่ดําเนินการบนโหนดการคํานวณ Backend คิวรีขนาดเล็กแต่ละคิวรี จะเรียกว่างาน และแสดงถึงหน่วยการดําเนินการแบบกระจาย ซึ่งอ่านไฟล์จาก OneLake รวมผลลัพธ์จากงาน กลุ่ม หรือคําสั่งซื้อข้อมูลที่ดึงมาจากงานอื่น ๆ สําหรับงานการนําเข้า ระบบยังเขียนข้อมูลไปยังตารางปลายทางที่เหมาะสม
เมื่อข้อมูลถูกประมวลผล ผลลัพธ์จะถูกส่งกลับไปยัง SQL frontend สําหรับการให้บริการกลับไปยังผู้ใช้หรือการเรียกแอปพลิเคชัน
ความยืดหยุ่นและความยืดหยุ่น
ประโยชน์ของความจุการคํานวณ Backend จากสถาปัตยกรรมที่จัดเตรียมไว้อย่างรวดเร็ว แม้ว่าจะไม่มี SLA ในการกําหนดทรัพยากร โดยทั่วไปแล้วจะได้รับโหนดใหม่ภายในไม่กี่วินาที เมื่อความต้องการทรัพยากรเพิ่มขึ้น ปริมาณงานใหม่จะใช้ความจุแบบปรับมาตราส่วนออก การปรับมาตราส่วนเป็นการดําเนินการออนไลน์และการประมวลผลคิวรีไม่มีการขัดจังหวะ
ระบบไม่ทนต่อความผิดพลาดและหากโหนดไม่แข็งแรงการดําเนินการที่ดําเนินการบนโหนดจะถูกแจกจ่ายต่อไปยังโหนดสุขภาพเพื่อความสมบูรณ์
จุดสิ้นสุดคลังสินค้าและการวิเคราะห์ SQL ให้ ความจุ ที่ต่อเนื่องกันได้ที่ช่วยให้ปริมาณงานใช้ทรัพยากรมากขึ้นเพื่อบรรลุประสิทธิภาพที่ดีขึ้นและใช้ การทําให้เรียบเนียนเพื่อเสนอการ บรรเทาสําหรับลูกค้าที่สร้างการเพิ่มขึ้นอย่างรวดเร็วทันทีทันใดในช่วงเวลาสูงสุดของพวกเขาในขณะที่พวกเขามีความจุที่ไม่ได้ใช้งานจํานวนมาก การทําให้การจัดการความจุง่ายขึ้นโดยการเผยแพร่การประเมินการคํานวณเพื่อให้แน่ใจว่างานของลูกค้าทํางานได้อย่างราบรื่นและมีประสิทธิภาพ
การจัดกําหนดการและการจัดหาใหม่
ตัวจัดกําหนดการการประมวลผลคิวรีแบบกระจายดําเนินการในระดับงาน คิวรีจะถูกแสดงเป็นตัวจัดกําหนดการเป็นกราฟอซิกลิก (DAG) ที่มีคําสั่งของงาน แนวคิดนี้คุ้นเคยกับผู้ใช้ Spark DAG ช่วยให้การทํางานแบบขนานและการทํางานพร้อมกันเกิดขึ้นเนื่องจากงานที่ไม่ขึ้นอยู่กับแต่ละอื่นๆ สามารถดําเนินการได้พร้อมกันหรือใช้งานไม่ได้
เมื่อคิวรี่มาถึง งานของพวกเขาจะถูกจัดกําหนดการตามหลักการเข้าก่อนออกก่อน (FIFO) ถ้ามีความจุที่ไม่ได้ใช้งาน ตัวจัดกําหนดการอาจใช้วิธีการ "เหมาะสมที่สุด" เพื่อปรับภาวะพร้อมกันให้เหมาะสม
เมื่อตัวจัดกําหนดการระบุถึงแรงกดดันในการจัดหาใหม่ จะเรียกใช้การดําเนินการปรับมาตราส่วน การปรับมาตราส่วนได้รับการจัดการโดยอัตโนมัติ และโทโพโลยี Backend จะเพิ่มขึ้นเมื่อภาวะพร้อมกันเพิ่มขึ้น เนื่องจากใช้เวลาสองถึงสามวินาทีในการรับโหนด ระบบไม่ได้รับการปรับให้เหมาะสมเพื่อประสิทธิภาพการทํางานที่ต่ํากว่าระดับต่ํากว่าที่สอดคล้องกันของคิวรีที่จําเป็นต้องมีการประมวลผลแบบกระจาย
เมื่อความดันลดลง โทโพโลยี Backend จะปรับขนาดกลับลงและปล่อยทรัพยากรกลับไปยังภูมิภาค
การแยกการนําเข้า
นําไปใช้กับ:✅ Warehouse ใน Microsoft Fabric
ในกลุ่มการคํานวณ Backend ของ Warehouse ใน Microsoft Fabric กิจกรรมการโหลดจะมีการแยกทรัพยากรออกจากปริมาณงานวิเคราะห์ สิ่งนี้ช่วยปรับปรุงประสิทธิภาพการทํางานและความน่าเชื่อถือ เนื่องจากงานการนําเข้าสามารถเรียกใช้บนโหนดเฉพาะที่ปรับให้เหมาะสมสําหรับ ETL และไม่แข่งขันกับคิวรีหรือแอปพลิเคชันอื่น ๆ สําหรับแหล่งข้อมูล
เซสชัน
จุดสิ้นสุด Warehouse และ SQL Analytics มีขีดจํากัดเซสชันผู้ใช้ที่ 724 ต่อพื้นที่ทํางาน เมื่อถึงขีดจํากัดนี้ ข้อผิดพลาดจะถูกส่งกลับ: The user session limit for the workspace is 724 and has been reached
หมายเหตุ
เนื่องจาก Microsoft Fabric เป็นแพลตฟอร์ม SaaS มีการเชื่อมต่อระบบมากมายที่ทํางานเพื่อปรับสภาพแวดล้อมให้เหมาะสมอย่างต่อเนื่อง DMV แสดงทั้งเซสชันระบบและผู้ใช้ สําหรับข้อมูลเพิ่มเติม ให้ดู การตรวจสอบโดยใช้ DMV
แนวทางปฏิบัติ
พื้นที่ทํางาน Microsoft Fabric ให้ขอบเขตการแยกตามธรรมชาติของระบบคํานวณแบบกระจาย ปริมาณงานสามารถใช้ประโยชน์จากขอบเขตนี้เพื่อจัดการทั้งต้นทุนและประสิทธิภาพการทํางาน
ทางลัด OneLake สามารถใช้เพื่อสร้างแบบจําลองแบบอ่านอย่างเดียวของตารางในพื้นที่ทํางานอื่นเพื่อกระจายโหลดข้ามกลไกจัดการ SQL หลายตัว โดยสร้างขอบเขตการแยก ซึ่งสามารถเพิ่มจํานวนสูงสุดของเซสชันที่กําลังดําเนินการคิวรีแบบอ่านอย่างเดียวได้อย่างมีประสิทธิภาพ
