ประสิทธิภาพของโมเดลการคาดคะเน
หลังจากการฝึกแต่ละครั้ง AI Builder ใช้ชุดข้อมูลทดสอบเพื่อประเมินคุณภาพและความเหมาะสมของโมเดลใหม่ หน้าสรุปสำหรับโมเดลของคุณแสดงผลลัพธ์การฝึกอบรมโมเดลของคุณ ผลลัพธ์เหล่านี้แสดงเป็นเกรดประสิทธิภาพของ A, B, C หรือ D
การวัดประสิทธิภาพ
เกรดประสิทธิภาพ
หลังจากการฝึกแต่ละครั้ง AI Builder แสดงเกรดเพื่อช่วยคุณในการประเมินความแม่นยำของโมเดลของคุณ การตัดสินใจว่าโมเดลของคุณพร้อมที่จะเผยแพร่หรือไม่ เป็นสิ่งที่คุณต้องทำโดยอ้างอิงจากความต้องการและสถานการณ์ทีมีความเฉพาะตัวของคุณ AI Builder จะให้เกรดประสิทธิภาพต่อไปนี้เพื่อช่วยให้คุณสามารถตัดสินใจได้
วิธีการตีความแต่ละเกรด
| เกรด | คำแนะนำ |
|---|---|
| A | ซึ่งอาจยังมีความเป็นไปได้ที่จะปรับปรุงโมเดล แต่นี่คือเกรดที่ดีที่สุดที่คุณจะได้รับ |
| B | โมเดลนี้มีความถูกต้องในหลายกรณีและปัญหา สามารถปรับปรุงโมเดลนี้ได้หรือไม่ นั่นขึ้นอยู่กับสถานการณ์ ข้อมูล และความต้องการ ที่มีความเฉพาะตัวของคุณ |
| C | โมเดลจะทำงานได้ดีกว่าการคาดเดาแบบสุ่มเล็กน้อย ซึ่งอาจยอมรับได้สำหรับบางแอปพลิเคชัน แต่ในกรณีส่วนใหญ่ นี่คือโมเดลที่คุณต้องดำเนินการปรับแต่งและปรับปรุงอย่างต่อไป |
| D | มีบางอย่างผิดพลาด โมเดลของคุณอาจมีประสิทธิภาพที่แย่กว่าที่เราคาดเดาแบบสุ่มไว้ในการดำเนินการ (โมเดล underfit) หรือหากทำงานได้ดี (ที่หรือใกล้ 100%) จนคุณอาจมีคอลัมน์ข้อมูลที่เกี่ยวข้องโดยตรงกับผลลัพธ์ (โมเดลเกินพอดี) |
- ข้อมูลเพิ่มเติมเกี่ยวกับ โมเดล underfit
- ข้อมูลเพิ่มเติมเกี่ยวกับ โมเดล overfit
ช่วงความแม่นยำขึ้นอยู่กับข้อมูลของคุณ
ถ้าคุณคาดคะเนผลลัพธ์ตั้งแต่สองผลลัพธ์ขึ้นไป อัตราความแม่นยำแท้จริงที่สอดคล้องกับเกรดด้านบนอาจแตกต่างกันไป ขึ้นอยู่กับการกระจายตัวของข้อมูลย้อนหลังของคุณ ความแตกต่างนี้ขึ้นอยู่กับข้อเท็จจริงที่ว่าการปรับปรุงที่สัมพันธ์กับเปลี่ยนแปลงอัตราตามเส้นฐานของคุณเมื่อคุณเปลี่ยนเส้นฐานดังกล่าว
สมมติว่าโมเดลของคุณคาดการณ์ว่าการจัดส่งจะมาถึงในเวลา หากอัตราการตรงเวลาในอดีตของคุณคือ 80เปอร์เซ็นต์ คะแนนประสิทธิภาพที่ 92 จะสอดคล้องกับระดับ B แต่ ถ้าอัตราการตรงเวลาในอดีตของคุณมีเพียง 50เปอร์เซ็นต์ คะแนน 92 จะสอดคล้องกับระดับ A สาเหตุเพราะ 92 เป็นการปรับปรุงที่ดีกว่า 50เปอร์เซ็นต์ มากกว่าระดับ 80เปอร์เซ็นต์ มาก และคุณสามารถคาดการณ์ได้ว่า การคาดการณ์แบบสุ่มจะมีความแม่นยำใกล้เคียงกับคะแนนร้อยละดังกล่าว
ตัวอย่างข้อมูลประวัติไบนารี
ตัวอย่างนี้แสดงให้เห็นถึงช่วงคะแนนความถูกต้องสำหรับแต่ละเกรด เมื่อข้อมูลย้อนหลังมีอัตราการตรงเวลาที่แตกต่างกันสำหรับการคาดการณ์แบบไบนารี
| เกรด | ช่วงความแม่นยำสำหรับอัตราการตรงเวลาย้อนหลังเท่ากับ 25% | ช่วงความแม่นยำสำหรับอัตราการตรงเวลาย้อนหลังเท่ากับ 50% | ช่วงความแม่นยำสำหรับอัตราการตรงเวลาย้อนหลังเท่ากับ 80% | ช่วงความแม่นยำสำหรับอัตราการตรงเวลาย้อนหลังเท่ากับ 95% |
|---|---|---|---|---|
| A | 92.5 – <99.3% | 90 – 98% | 93 – <99% | 98.1 – <99.8% |
| B | 81.3 – <92.5% | 75 – <90% | 84 – <93% | 95.3 – <98.1% |
| C | 66.3 – <81.3% | 55 – <75% | 71 – <84% | 91.5 – <95.3% |
| D | <66.3% หรือ ≥99.3% | <55% หรือ ≥98% | <71% หรือ ≥99% | <91.5% หรือ ≥99.8% |
ตัวอย่างข้อมูลย้อนหลังของผลลัพธ์หลายรายการ
นอกจากนี้ อัตราความแม่นยำที่สอดคล้องกับแต่ละเกรดยังอาจแตกต่างกันไป เมื่อคุณคาดคะเนผลลัพธ์มากกว่า 2 รายการ สมมติว่าโมเดลของคุณคาดคะเนตัวเลือกมากกว่าสองตัวเลือกสำหรับการจัดส่ง: ก่อนเวลา ตรงเวลา หรือล่าช้า
ช่วงความแม่นยำสำหรับการเปลี่ยนแปลงแต่ละเกรด เมื่ออัตราการตรงเวลาในอดีตของคุณเปลี่ยนแปลง
| เกรด | ก่อนเวลา (33.3%) | ก่อนเวลา (20%) | ก่อนเวลา (10%) |
|---|---|---|---|
| ตรงเวลา (33.3%) | ตรงเวลา (40%) | ตรงเวลา (80%) | |
| ล่าช้า (33.4%) | ล่าช้า (40%) | ล่าช้า (10%) | |
| A | 86.7 – <98.7% | 87.2 – <98.7% | 93.2 – <99.3% |
| B | 66.7 – <86.7% | 68.0 – <87.2% | 83.0 – <93.2% |
| C | 40.0 – <66.7% | 42.4 – <68.0% | 69.4 – <83.0% |
| D | 33.3 – <40.0% | 36.0 – <42.4% | 66.0 – <69.4% |
ตัวอย่างการคาดคะเนเป็นตัวเลข
สำหรับการคาดคะเนเป็นตัวเลข AI Builder ใช้การวัดทางสถิติแบบอาร์สแควร์เพื่อคำนวณเกรดความแม่นยำของโมเดลของคุณ ตารางต่อไปนี้แสดงเกรดที่สอดคล้องกับแต่ละเกรด:
| เกรด | อาร์สแควร์ |
|---|---|
| ท | 85% - <99% |
| B | 60% - <85% |
| C | 10% - <60% |
| D | ≥99% หรือ <10% |
รายละเอียดของประสิทธิภาพ
สำหรับรายละเอียดการฝึกอบรม โปรดเลือก ดูรายละเอียด บนกล่องเกรดของโมเดล บนแท็บ ประสิทธิภาพ สามารถดูข้อมูลต่อไปนี้:
หมายเหตุ
สำหรับข้อมูลเกี่ยวกับคุณลักษณะเพิ่มเติมที่วางแผนไว้สำหรับพื้นที่นี้ โปรดดูที่ แผนการนำออกใช้
- คะแนนความแม่นยำ
- อาร์สแควร์
คะแนนความแม่นยำ
AI Builder คำนวณคะแนนความแม่นยำสำหรับโมเดลของคุณ โดยยึดตามผลลัพธ์การคาดคะแนของชุดข้อมูลทดสอบ ก่อนการฝึก AI Builder จะแยกชุดข้อมูลของคุณออกเป็นข้อมูลการฝึกและชุดข้อมูลการทดสอบที่แยกต่างหาก และหลังจากการฝึก AI Builder จะใช้โมเดล AI ของคุณกับชุดข้อมูลการทดสอบ แล้วจากนั้น คำนวณคะแนนความแม่นยำของคุณ ตัวอย่างเช่น หากชุดข้อมูลการทดสอบของคุณมีแถว 200 แถว และ AI Builder คาดคะเนแถว 192 แถวอย่างถูกต้อง AI Builder แสดงคะแนนความแม่นยำเป็น 96 เปอร์เซ็นต์
สำหรับข้อมูลเพิ่มเติม ให้ดู ประเมินโมเดลของคุณ
อาร์สแควร์
สำหรับการคาดคะเนเป็นตัวเลข AI Builder คำนวณคะแนนอาร์สแควร์หลังการฝึกแต่ละครั้ง คะแนนนี้จะวัดความเหมาะสมของโมเดลของคุณ และถูกใช้เพื่อกำหนดเกรดประสิทธิภาพของโมเดลของคุณ
สมมติว่าคุณกำลังคาดการณ์จำนวนวันที่เพื่อจัดการ ขนส่ง และส่งมอบตามการสั่งซื้อ โมเดลจะคาดการณ์ชุดของตัวเลข ค่าอาร์สแควร์ขึ้นอยู่กับระยะห่างระหว่างค่าที่คาดคะเนและค่าจริงในข้อมูลการฝึกอบรมของคุณ ซึ่งจะแสดงเป็นตัวเลขระหว่าง 0 – 100% ด้วยค่าที่สูงกว่าซึ่งแสดงค่าที่คาดการณ์ไว้ใกล้เคียงกับค่าจริง โดยทั่วไปแล้ว คะแนนที่สูงกว่าหมายความว่าโมเดลจะทำงานได้ดียิ่งขึ้น โปรดจำไว้ว่านี่คือคะแนนที่สมบูรณ์แบบหรือใกล้เคียง (โมเดล overfit) มักแสดงถึงปัญหาเกี่ยวกับข้อมูลการฝึกอบรมของคุณ
บนแท็บ สรุป สามารถดูข้อมูลประสิทธิภาพต่อไปนี้:
- วันที่มีการฝึกอบรม
- แหล่งข้อมูล
- ผลลัพธ์ในอดีต
- รายการตารางที่ใช้ในการคาดการณ์
ปรับปรุงประสิทธิภาพของโมเดลการคาดคะเนของคุณ
หลังจากที่คุณได้ฝึกการใช้งานและประเมินโมเดลของคุณแล้ว ถึงเวลาที่จะปรับแต่งโมเดลของคุณเพื่อปรับปรุงประสิทธิภาพให้ดียิ่งขึ้น ต่อไปนี้คือบางสิ่งที่คุณสามารถลอง เพื่อช่วยปรับปรุงความสามารถในการคาดการณ์ของโมเดลของคุณ
ตรวจทานข้อผิดพลาดและปัญหา
- ถ้ามีข้อผิดพลาดใดๆ หลังจากที่คุณเสร็จสิ้นการทดสอบการใช้งานแล้ว ให้แก้ไขปัญหาเหล่านั้นและทดสอบการใช้งานโมเดลอีกครั้ง
- หากไม่มีข้อผิดพลาด โปรดตรวจสอบรายละเอียดการฝึกอบรมการใช้งาน ลองจัดการกับปัญหาให้มากที่สุดเท่าที่เป็นไปได้ แล้วทดสอบการใช้งานโมเดลอีกครั้ง
ตรวจทานผู้มีอิทธิพลสูงสุด
หลังจากการฝึกอบรมแต่ละครั้ง รายชื่อผู้มีอิทธิพลสูงสุดจะปรากฏบนหน้ารายละเอียดโมเดล แต่ละคอลัมน์ที่ใช้ในการฝึกอบรมจะมีคะแนนเพื่อแสดงอิทธิพลในการฝึกอบรม คะแนนเหล่านี้รวมกันเป็น 100 เปอร์เซ็นต์
การดำเนินการนี้จะช่วยแสดงให้เห็นว่าโมเดลของคุณได้รับการฝึกอบรมตามที่คุณคาดหวัง ตัวอย่างเช่น หากคุณต้องการทำนายความตั้งใจของผู้ซื้อสินค้าออนไลน์และคุณคาดหวังว่าอายุ ผลิตภัณฑ์จะเป็นคอลัมน์ที่มีอิทธิพลมากที่สุด คุณควรเห็นสิ่งนั้นในรายการคอลัมน์ที่มีอิทธิพลมากที่สุดในหน้ารายละเอียดโมเดล ถ้าไม่เป็นเช่นนั้น อาจระบุว่าผลลัพธ์การฝึกไม่ได้เป็นดังที่คาดหวัง ในกรณีนี้ คุณสามารถยกเลิกการเลือกคอลัมน์ที่เกี่ยวข้องหรือทำให้เข้าใจผิด และทดสอบการใช้งานโมเดลใหม่หรือตรวจสอบปัญหาการทดสอบการใช้งานของคุณเพื่อดูรายละเอียด
เพิ่มข้อมูลเพิ่มเติม
ข้อกำหนดการขั้นต่ำสำหรับข้อมูลการทดสอบการใช้งานคือต้องมีข้อมูลบันทึก 50 แถว แต่ก็ไม่ได้หมายความว่าแถวข้อมูล 50 รายการจะสามารถทดสอบการใช้งานโมเดลคาดการณ์สูง ลองพยายามให้มีข้อมูลบันทึก 1,000 แถวหรือมากกว่าที่มีป้ายชื่ออย่างถูกต้อง พร้อมด้วยการแจกแจงแบบสมจริงระหว่างตัวเลือก
ตรวจสอบการแจกแจงข้อมูลของคุณ
ตัวอย่างเช่น ถ้าคุณกำลังใช้ป้ายชื่อสองตัวเลือก ใช่ หรือ ไม่ใช่ และแถวข้อมูลส่วนใหญ่ของคุณมีเพียง ใช่ ในคอลัมน์นี้เป็นเรื่องยากสำหรับโมเดลของคุณเพื่อเรียนรู้จากข้อมูลนี้ พยายามให้มีการแจกแจงตัวเลือกในข้อมูลของคุณ ซึ่งแสดงถึงการแจกแจงของตัวเลือกโดยประมาณที่คุณอาจคาดหวังจะเห็น ตัวอย่างเช่น ถ้าคุณกำลังดูคอลัมน์สำหรับ cat_owner และ dog_owner ให้ใช้การแจกแจงข้อมูลประมาณ 50 เปอร์เซนต์ หากคุณกำลังค้นหาธุรกรรมที่ฉ้อโกง ให้ใช้การแจกแจงแบบไม่สมดุลมากขึ้นอาจเป็น 95 เปอร์เซนต์ ถึง 5 เปอร์เซนต์ ดูมาตรฐานอุตสาหกรรมสำหรับข้อมูลประเภทนี้ถ้าคุณไม่ทราบว่าควรคาดหวังอะไร
เพิ่มคอลัมน์เพิ่มเติม
ตัวอย่างเช่น คุณต้องการคาดคะเนว่าลูกค้ารายใดมีแนวโน้มที่จะกลับมาและซื้อผลิตภัณฑ์ของคุณ คุณสามารถเพิ่มคอลัมน์เพิ่มเติมเพื่อให้ข้อมูลการฝึกมีมากขึ้น ตัวอย่างเช่น:
- ลูกค้าจะให้คะแนนผลิตภัณฑ์ได้อย่างไร
- ลูกค้าใช้ผลิตภัณฑ์เท่าใด
- เป็นลูกค้าที่มีอยู่หรือไม่
จำกัดคอลัมน์ที่เลือกให้เป็นข้อมูลที่เกี่ยวข้อง
คุณอาจมีข้อมูลการทดสอบการใช้งานที่ติดป้ายชื่ออย่างถูกต้องเป็นจำนวนมากที่มีคอลัมน์จำนวนมาก แล้วด้วยเหตุใดโมเดลยังคงไม่สามารถใช้งานได้ดี ซึ่งอาจเป็นไปได้ว่าคุณกำลังเลือกคอลัมน์ที่นำไปสู่ความโน้มเอียงที่ไม่พึงประสงค์ ตรวจสอบให้แน่ใจว่าทุกคอลัมน์ที่คุณเลือกนั้นเกี่ยวข้องกับสิ่งที่คุณต้องการคาดคะเน ยกเลิกการเลือกคอลัมน์ที่ไม่เกี่ยวข้องหรือทำให้เข้าใจผิด
ตรวจสอบความถูกต้องของข้อมูล
- ตรวจสอบให้แน่ใจว่าคอลัมน์ข้อมูลไม่มีอัตราค่าที่ขาดหายไปสูง (มากกว่า 99เปอร์เซนต์) เติมค่าที่หายไปโดยข้อมูลเริ่มต้นหรือลบคอลัมน์ข้อมูลจากการฝึกอบรมโมเดล
- ถ้าคอลัมน์ข้อมูลมีความสัมพันธ์สูงกับผลการคาดการณ์ ให้ลบคอลัมน์ข้อมูลออกจากการฝึกอบรมโมเดล