แชร์ผ่าน

ตรวจสอบการใช้ทรัพยากรของแอปพลิเคชัน Apache Spark

  • บทความ

กราฟการใช้งานของเครื่องปฏิบัติการภายใต้แท็บ ทรัพยากร แสดงภาพการจัดสรรและการใช้งานของโปรแกรม Spark สําหรับแอปพลิเคชัน Spark ปัจจุบันที่อยู่ใกล้เคียงกับเวลาจริงในระหว่างการดําเนินการ Spark กราฟยังให้ประสบการณ์แบบโต้ตอบ ซึ่งช่วยให้คุณสามารถดูงาน Spark และงานได้โดยคลิกที่เรียกใช้การดําเนินการในช่วงเวลาที่กําหนด ในปัจจุบัน Spark เวอร์ชันรันไทม์ 3.4 และสูงกว่ารองรับคุณลักษณะนี้เท่านั้น

แท็บทรัพยากร

คลิกที่แท็บ Resources เพื่อเข้าถึงกราฟที่มีกราฟเส้นที่แตกต่างกันสี่กราฟ แต่ละกราฟแสดงสถานะตัวปฏิบัติการที่แตกต่างกัน: เรียกใช้งานมีการระบุจัดสรรและ อินสแตนซ์สูงสุด

สกรีนช็อตที่แสดงการใช้ทรัพยากรการตรวจสอบ

  • เรียกใช้: ซึ่งแสดงจํานวนแกนจริงที่ใช้โดยแอปพลิเคชัน Spark เพื่อเรียกใช้งานและงาน Spark

  • ที่ถูก Idled : ซึ่งแสดงถึงจํานวนแกนหลักที่พร้อมใช้งานแต่ไม่ได้ใช้ในขณะที่แอปพลิเคชัน Spark กําลังทํางาน

  • จัดสรร: หมายถึงแกนที่จัดสรรในระหว่างการดําเนินการของแอปพลิเคชัน Spark

  • อินสแตนซ์สูงสุด: ซึ่งระบุจํานวนสูงสุดของแกนหลักที่สามารถจัดสรรให้กับแอปพลิเคชัน Spark ได้

สลับคําอธิบายแผนภูมิสีเพื่อเลือกหรือยกเลิกการเลือกกราฟที่เกี่ยวข้องในแผนภูมิการใช้ทรัพยากร

สกรีนช็อตที่แสดงแผนภูมิเลือกกราฟ

กราฟการใช้ทรัพยากรเป็นแบบโต้ตอบ เมื่อคุณเลื่อนเมาส์ของคุณไปวางเหนือกราฟแกนประมวลผลที่เรียกใช้งาน ข้อมูลสรุปของแกนประมวลผลและข้อมูลผู้ปฏิบัติการที่สอดคล้องกันจะปรากฏขึ้น คลิกที่จุดในเส้นหลักของ executor ที่ทํางานอยู่จะแสดงข้อมูลรายละเอียดเกี่ยวกับตัวดําเนินการและงานที่เกี่ยวข้องในช่วงเวลานั้น โดยแสดงที่ด้านล่างของกราฟ

สกรีนช็อตที่แสดงรายละเอียดการจัดสรรหลักของผู้ดําเนินการทํางาน

โน้ต

ในบางกรณี จํานวนงานอาจเกินความจุของแกนประมวลผล (เช่น หมายเลขงาน > แกนประมวลผลทั้งหมด / spark.task.cpus) นี่คือที่คาดไว้ เนื่องจากอาจมีช่องว่างเวลาระหว่างงานที่ทําเครื่องหมายว่าทํางานอยู่และการดําเนินการจริงบนแกนประมวลผล ดังนั้น งานบางอย่างอาจปรากฏขึ้นเป็นการเรียกใช้ แต่ไม่ได้ทํางานบนแกนหลักใด ๆ อยู่

เนื้อหาที่เกี่ยวข้อง

สําหรับภาพรวมของการตรวจสอบ Fabric Spark การตรวจสอบแอปพลิเคชัน Spark และการตรวจสอบบริบทของสมุดบันทึก คุณสามารถอ้างอิงถึง: