ประเมินแบบจำลองการคาดการณ์การชำระเงินของลูกค้าเริ่มต้น

บทความนี้จะอธิบายวิธีการประเมินแบบจำลองการคาดคะเนหลังจากที่คุณได้เปิดใช้งาน Finance Insights แล้วสร้างและฝึกอบรมแบบจำลองแรกของคุณ บทความนี้ที่อยู่แบบจำลองสำหรับการคาดคะเนการชำระเงินของลูกค้า ซึ่งจะอธิบายถึงขั้นตอนที่คุณสามารถใช้เพื่อทำความเข้าใจแบบจำลองการคาดการณ์การชำระเงินของลูกค้าและประเมินประสิทธิภาพของลูกค้า

การดูรายละเอียดเกี่ยวกับแบบจำลอง

ในหน้า พารามิเตอร์ Finance Insights ใน Microsoft Dynamics 365 Finance ลิงก์ ความถูกต้องของแบบจำลองการปรับปรุง จะปรากฏขึ้นถัดจากคะแนนความถูกต้อง

ลิงก์นี้จะนำคุณไปยัง AI Builder ซึ่งคุณสามารถเรียนรู้เพิ่มเติมเกี่ยวกับแบบจำลองปัจจุบันและใช้ขั้นตอนในการปรับปรุง ภาพประกอบต่อไปนี้แสดงหน้าที่เปิดขึ้น

หน้าที่เปิดขึ้นแสดงข้อมูลต่อไปนี้:

• ในส่วน ประสิทธิภาพ ระดับประสิทธิภาพของแบบจำลองจะให้มุมมองเกี่ยวกับคุณภาพของแบบจำลอง สำหรับข้อมูลเพิ่มเติมเกี่ยวกับระดับชั้นนี้ โปรดดู ประสิทธิภาพของแบบจำลองการคาดการณ์ ในคู่มือ AI Builder

• ส่วน ข้อมูลที่มีอิทธิพลมากที่สุด จะแสดงให้เห็นถึงความสำคัญของชนิดข้อมูลสำหรับการป้อนค่าที่แตกต่างกันสำหรับแบบจำลองของคุณ คุณสามารถประเมินรายการนี้และเปอร์เซ็นต์ที่สอดคล้องกันเพื่อตรวจสอบว่าข้อมูลสอดคล้องกับสิ่งที่คุณทราบเกี่ยวกับธุรกิจและตลาดของคุณหรือไม่

  

• ในส่วน ประสิทธิภาพ ให้เลือก ดูรายละเอียด เพื่อเรียนรู้เพิ่มเติมเกี่ยวกับระดับชั้นและข้อควรพิจารณาอื่นๆ ในภาพประกอบต่อไปนี้ รายละเอียดแสดงให้เห็นว่าแบบจำลองใช้ข้อมูลน้อยกว่าที่แนะนำ ระบบจึงสร้างข้อความแจ้งเตือน

  

ขุดลึก

ถึงแม้ว่าความถูกต้องเป็นจุดเริ่มต้นที่ดีสำหรับการประเมินแบบจำลอง และระดับประสิทธิภาพการทำงานจะให้มุมมอง AI Builder ให้การวัดที่ละเอียดมากขึ้นซึ่งคุณสามารถใช้สำหรับการประเมินผลของคุณได้ เมื่อต้องการดาวน์โหลดรายละเอียด ในส่วน ประสิทธิภาพ ให้เลือกปุ่มจุดไข่ปลา (...) ถัดจากปุ่ม ใช้แบบจำลอง แล้วเลือก ดาวน์โหลดการวัดโดยละเอียด

ภาพประกอบต่อไปนี้จะแสดงรูปแบบที่คุณสามารถดาวน์โหลดข้อมูลได้

สำหรับการวิเคราะห์ผลลัพธ์แบบลึก จุดเริ่มต้นที่ดีคือเพื่อตรวจสอบการวัด "เมทริกซ์ความสับสน" ตัวอย่างเช่น นี่คือข้อมูลที่แสดงสำหรับการวัดนี้ในภาพประกอบก่อนหน้านี้

{"name": "Confusion Matrix", "value": {"schema_type": "confusion_matrix", "schema_version": "1.0.0", "data": {"class_labels": ["0", "1", "2"], "matrix": [[71, 9, 21], [5, 0, 27], [2, 0, 45]]}}, "type": "dictionaryNumericalList", "isGlobalScore": false}

คุณสามารถขยายข้อมูลนี้ได้โดยวิธีต่อไปนี้:

	คาดการณ์เมื่อเวลาผ่านไป	คาดการณ์ล่าช้า	คาดการณ์ล่าช้ามาก
การชำระเงินที่เกิดขึ้นจริงในเวลา	71	0	21
การชำระเงินล่าช้าจริง	5	0	27
การชำระเงินล่าช้ามากจริง	2	0	45

เมทริกซ์ความสับสนแสดงผลลัพธ์ของชุดข้อมูลทดสอบที่เลือกโดยสุ่มจากกระบวนการฝึกอบรม เนื่องจากใบแจ้งหนี้ที่ปิดเหล่านี้ไม่ได้ใช้ในการฝึกแบบจำลองดังกล่าว จะเป็นกรณีการทดสอบที่ดีสำหรับแบบจำลอง นอกจากนี้ เนื่องจากมีการทราบสถานะจริงของใบแจ้งหนี้ คุณจะเห็นประสิทธิภาพของแบบจำลอง

สิ่งแรกที่จะค้นหาคือค่าจริงทั่วไปมากที่สุด ถึงแม้ว่าค่านี้อาจจะไม่สอดคล้องกับชุดข้อมูลโดยรวมอย่างสมบูรณ์ ก็คือการประมาณที่เหมาะสม ในกรณีนี้ การชำระเงินที่เกิดขึ้นจริงในเวลา เกิดขึ้น 92 ครั้งจากใบแจ้งหนี้ทั้งหมด 171 ใบและเป็นค่าจริงที่พบมากที่สุด ดังนั้น จึงเป็นพื้นฐานที่ดีสำหรับแบบจำลองของคุณ ถ้าคุณเพิ่งคาดเดาว่าใบแจ้งหนี้ทั้งหมดจะอยู่ในเวลา คุณจะถูกต้อง 92 จาก 171 ครั้ง (นั่นคือ 54 เปอร์เซ็นต์ของเวลา)

คุณควรทำความเข้าใจวิธีการสมดุลของชุดข้อมูลของคุณเป็นอย่างไร ในกรณีนี้ ใบแจ้งหนี้ 92 ใบจาก 171 ใบชำระเงินตรงเวลา 32 ใบมีการชำระเงินล่าช้า และ 47 ใบจะมีการชำระเงินล่าช้ามาก ค่าเหล่านี้จะบ่งชี้ถึงชุดข้อมูลที่มีความสมดุลอย่างสมเหตุสมผล เนื่องจากมีผลลัพธ์ที่ไม่ได้อยู่ในการจัดประเภทแต่ละครั้ง สถานการณ์ที่หนึ่งในสถานะมีผลน้อยมากอาจเป็นเรื่องท้าทายสำหรับแบบจำลองการเรียนรู้ของเครื่อง

ความถูกต้องของแบบจำลองบ่งชี้จำนวนของการคาดการณ์ที่ถูกต้องสำหรับชุดข้อมูลทดสอบ การคาดการณ์ที่ถูกต้องเหล่านี้จะเป็นค่าที่แสดงในรูปแบบตัวหนาในตัวอย่างก่อนหน้านี้ ในกรณีนี้ ค่าผลิตความถูกต้องที่คำนวณได้ของ 67.8 เปอร์เซ็นต์ (= [71 + 0 + 45] ÷ 171) ค่านี้แสดงถึงการปรับปรุง 14 เปอร์เซ็นต์บนพื้นฐานคาดเดาของ 54 เปอร์เซ็นต์และเป็นตัวบ่งชี้หนึ่งของคุณภาพของแบบจำลอง

ถ้าคุณดูอย่างใกล้ชิดมากขึ้นในเมทริกซ์ความสับสน คุณจะสังเกตเห็นว่าแบบจำลองทำงานที่ได้ดีในการคาดการณ์การชำระเงินตามเวลาและการชำระเงินล่าช้ามาก อย่างไรก็ตาม ไม่ถูกต้องเกี่ยวกับใบแจ้งหนี้ 32 ทั้งหมดที่มีการชำระเงินจริงล่าช้า (แต่ไม่ล่าช้ามาก) ผลลัพธ์นี้แสดงให้เห็นว่าจำเป็นต้องมีการสำรวจและปรับปรุงแบบจำลองเพิ่มเติม

ตัวเลขที่แสดงถึงประสิทธิภาพของแบบจำลองที่ดีกว่าความถูกต้องคือคะแนนมาโคร F1 คะแนนนี้จะพิจารณาถึงผลลัพธ์ของสถานะการจัดประเภทแต่ละสถานะ (ในเวลา ล่าช้า และช้ามาก) ตัวอย่างเช่น นี่คือข้อมูลที่แสดงสำหรับการวัด "F1 แมโคร" ในภาพประกอบก่อนหน้านี้

{"name": "F1 Macro", "value": 0.4927170868347339, "type": "percentage", "isGlobalScore": false}

ในกรณีนี้ คะแนนแมโคร F1 ประมาณ 49.3 เปอร์เซ็นต์บ่งชี้ว่าแบบจำลองไม่ได้มีการคาดการณ์ที่มีผลบังคับใช้แต่ละสถานะ แม้จะมีคะแนนความถูกต้องโดยรวมที่ดูเหมือนว่าสูงมาก

การปรับปรุงแบบจำลอง

หลังจากที่คุณเข้าใจผลลัพธ์ของแบบจำลองแรกของคุณแล้ว คุณอาจต้องการปรับปรุงแบบจำลองโดยการเพิ่มหรือลบคอลัมน์ลักษณะการทำงาน หรือโดยการกรองส่วนต่าง ๆ ของชุดข้อมูลที่ไม่สนับสนุนการคาดการณ์ที่ถูกต้อง ปิด AI Builder แล้วใช้ลิงก์ ปรับปรุงโมเดล ใน Dynamics 365 Finance เพื่อเริ่มต้นกระบวน AI Builder ใหม่ คุณสามารถทดลองมีลักษณะแตกต่างกันโดยไม่มีผลกระทบต่อแบบจำลองที่เผยแพร่ แบบจำลองที่เผยแพร่แล้วจะได้รับผลกระทบเฉพาะเมื่อคุณเลือก เผยแพร่ เท่านั้น โปรดจำไว้ว่ามีการใช้แบบจำลองฉบับเดียวสำหรับอินสแตนซ์ Dynamics 365 Finance ของคุณ ดังนั้นคุณจึงควรตรวจสอบแบบจำลองใหม่ใด ๆ ก่อนที่จะเผยแพร่แบบจำลองใด ๆ

สำหรับข้อมูลเพิ่มเติม

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีการประเมินแบบจำลองการคาดคะเน AI ผลลัพธ์ของแบบจำลองการเรียนรู้ของเครื่อง