Επιδόσεις μοντέλου πρόβλεψης
Μετά από κάθε εκπαίδευση, το AI Builder χρησιμοποιεί το σύνολο δεδομένων δοκιμής για να αξιολογήσει την ποιότητα και την καταλληλότητα του νέου μοντέλου. Μια σελίδα σύνοψης για το μοντέλο σας εμφανίζει το αποτέλεσμα της εκπαίδευσης στο μοντέλο. Τα αποτελέσματα αυτά εκφράζονται ως βαθμός επίδοσης A, B, C ή D.
Μέτρηση απόδοσης
Βαθμός επιδόσεων
Μετά από κάθε εκπαίδευση, το AI Builder εμφανίζει έναν βαθμό για να σας βοηθήσει να αξιολογήσετε την ακρίβειά του μοντέλου σας. Η απόφαση σχετικά με το αν το μοντέλο σας είναι έτοιμο για δημοσίευση είναι ένα στοιχείο που πρέπει να κάνετε με βάση τις μοναδικές ανάγκες και τις ιδιαίτερες συνθήκες σας. Το AI Builder παρέχει τους ακόλουθους βαθμούς επιδόσεων για να σας βοηθήσει να κάνετε αυτή την κλήση κρίσης.
Τρόπος ερμηνείας κάθε βαθμού
| Βαθμός | Καθοδήγηση |
|---|---|
| A | Μπορεί να είναι ακόμα δυνατή η βελτίωση του μοντέλου, αλλά αυτός είναι ο καλύτερος βαθμός που μπορείτε να λάβετε. |
| B | Το μοντέλο είναι σωστό σε πολλές περιπτώσεις. Μπορεί να βελτιωθεί; Αυτό εξαρτάται από τις μοναδικές συνθήκες, τα δεδομένα και τις απαιτήσεις σας. |
| C | Το μοντέλο τα πάει λίγο καλύτερα από μια τυχαία εικασία. Μπορεί να είναι αποδεκτό για ορισμένες εφαρμογές, αλλά στις περισσότερες περιπτώσεις, είναι ένα μοντέλο που θα συνεχίσετε να διορθώνετε και να βελτιώνετε. |
| D | Κάτι δεν πάει καλά. Το μοντέλο σας είτε αποδίδει χειρότερα από όσο θα απέδιδε με βάση μια τυχαία εικασία (υποπροσαρμοσμένο μοντέλο). Ή, έχει τόσο καλές επιδόσεις (στο ή κοντά στο 100%) ότι έχετε πιθανώς μια στήλη δεδομένων που σχετίζεται άμεσα με το αποτέλεσμα (μοντέλο υπερπροσαρμογής) . |
- Περισσότερες πληροφορίες σχετικά με τα υποπροσαρμοσμένα μοντέλα
- Περισσότερες πληροφορίες σχετικά με τα υπερπροσαρμοσμένα μοντέλα
Το εύρος ακρίβειας ποικίλλει ανάλογα με τα δεδομένα σας
Εάν κάνετε πρόβλεψη 2 ή περισσότερων αποτελεσμάτων τα πραγματικά ποσοστά ακρίβειας που αντιστοιχούν στους παραπάνω βαθμούς μπορεί να ποικίλλουν, ανάλογα με την κατανομή δεδομένων των ιστορικών δεδομένων σας. Η διαφορά αντιστοιχεί στο γεγονός ότι η βελτίωση που σχετίζεται με τον βασικό ρυθμό αλλάζει όταν μετακινείτε αυτή τη γραμμή βάσης.
Ας υποθέσουμε ότι το μοντέλο σας προβλέπει εάν μια αποστολή θα φθάσει έγκαιρα. Εάν το ποσοστό έγκαιρων παραδόσεων του ιστορικού είναι 80τοις εκατό, μια βαθμολογία επιδόσεων 92 θα αντιστοιχεί σε βαθμό Β. Ωστόσο, εάν το ποσοστό έγκαιρων παραδόσεων του ιστορικού είναι μόλις 50τοις εκατό, το 92 θα αντιστοιχεί σε βαθμό Α. Αυτό συμβαίνει επειδή το 92 είναι πολύ καλύτερη βελτίωση ως προς το 50τοις εκατό από ότι ως προς το 80τοις εκατό και θα περιμένατε μια τυχαία εικασία να είναι πολύ κοντινή σε αυτά τα ποσοστά.
Παράδειγμα δυαδικών ιστορικών δεδομένων
Αυτό το παράδειγμα δείχνει τις περιοχές ακρίβειας για κάθε βαθμό όταν τα ιστορικά δεδομένα περιέχουν διαφορετικά ποσοστά έγκαιρης παράδοσης για μια δυαδική πρόβλεψη.
| Βαθμός | Εύρος ακρίβειας για ποσοστό έγκαιρης παράδοσης 25% στο ιστορικό | Εύρος ακρίβειας για ποσοστό έγκαιρης παράδοσης 50% στο ιστορικό | Εύρος ακρίβειας για ποσοστό έγκαιρης παράδοσης 80% στο ιστορικό | Εύρος ακρίβειας για ποσοστό έγκαιρης παράδοσης 95% στο ιστορικό |
|---|---|---|---|---|
| A | 92,5 – <99,3% | 90 – 98% | 93 – <99% | 98,1 – <99,8% |
| B | 81,3 – <92,5% | 75 – <90% | 84 – <93% | 95,3 – <98,1% |
| Ε | 66,3 – <81,3% | 55 – <75% | 71 – <84% | 91,5 – <95,3% |
| D | <66,3% ή ≥99,3% | <55% ή ≥98% | <71% ή ≥99% | <91,5% ή ≥99,8% |
Παράδειγμα πολλών αποτελεσμάτων ιστορικών δεδομένων
Τα ποσοστά ακρίβειας που αντιστοιχούν σε κάθε βαθμό μπορούν επίσης να ποικίλλουν όταν προβλέπετε περισσότερες από 2 εκβάσεις. Ας υποθέσουμε ότι το μοντέλο σας προβλέπει περισσότερες από δύο επιλογές για την παράδοση: πρόωρη, έγκαιρη ή καθυστερημένη.
Τα εύρη ακρίβειας για κάθε βαθμό αλλάζουν, όταν αλλάζουν οι ιστορικές σας τιμές για τα χρονικά διαστήματα.
| Βαθμός | Πρόωρη (33,3%) | Πρόωρη (20%) | Πρόωρη (10%) |
|---|---|---|---|
| Έγκαιρη (33,3%) | Έγκαιρη (40%) | Έγκαιρη (80%) | |
| Καθυστερημένη (33,4%) | Καθυστερημένη (40%) | Καθυστερημένη (10%) | |
| A | 86,7 – <98,7% | 87,2 – <98,7% | 93,2 – <99,3% |
| B | 66,7 – <86,7% | 68,0 – <87,2% | 83,0 – <93,2% |
| C | 40,0 – <66,7% | 42,4 – <68,0% | 69,4 – <83,0% |
| D | 33,3 – <40,0% | 36,0 – <42,4% | 66,0 – <69,4% |
Παράδειγμα αριθμητικής πρόβλεψης
Για αριθμητικές πρόβλεψη, το AI Builder χρησιμοποιεί στατιστική μέτρηση R-τετράγωνο για τον υπολογισμό του βαθμού ακρίβειας των μοντέλων σας. Στον ακόλουθο πίνακα παρουσιάζονται οι βαθμοί που αντιστοιχούν σε κάθε βαθμίδα:
| Βαθμός | R στο τετράγωνο |
|---|---|
| A | 85% - <99% |
| B | 60% - <85% |
| Ε | 10% - <60% |
| D | ≥99% ή <10% |
Λεπτομέρειες επιδόσεων
Για λεπτομέρειες σχετικά με την εκπαίδευση, επιλέξτε Δείτε λεπτομέρειες στο πλαίσιο βαθμολογίας του μοντέλου. Οι παρακάτω πληροφορίες είναι διαθέσιμες στην καρτέλα Επιδόσεις:
Σημείωμα
Για πληροφορίες σχετικά με τις πρόσθετες δυνατότητες που έχουν προγραμματιστεί για αυτήν την περιοχή, ανατρέξτε στο θέμα πλάνα έκδοσης.
- Βαθμολογία ακρίβειας
- R στο τετράγωνο
Βαθμολογία ακρίβειας
Το AI Builder υπολογίζει τη βαθμολογία ακρίβειας για το μοντέλο σας με βάση το αποτέλεσμα πρόβλεψης του συνόλου δεδομένων δοκιμής. Πριν από την εκπαίδευση, το AI Builder διαχωρίζει το σύνολο δεδομένων σας σε ξεχωριστά δεδομένα εκπαίδευσης και ελέγχει τα σύνολα δεδομένων. Μετά την εκπαίδευση, το AI Builder εφαρμόζει το μοντέλο AI στο σύνολο δεδομένων δοκιμής και, στη συνέχεια, υπολογίζει τη βαθμολογία ακρίβειας. Για παράδειγμα: εάν ένα σύνολο δεδομένων δοκιμής έχει 200 σειρές, το AI Builder προβλέπει 192 από αυτές, το AI Builder εμφανίζει μια βαθμολογία ακρίβειας 96 τοις εκατό.
Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Αξιολόγηση του μοντέλου σας.
R στο τετράγωνο
Για αριθμητική πρόβλεψη, το AI Builder υπολογίζει μια βαθμολογία R-τετράγωνο μετά από κάθε εκπαίδευση. Αυτό το σκορ μετράει την "ποιότητα της καταλληλότητας" του μοντέλου σας και χρησιμοποιείται για τον προσδιορισμό του βαθμού απόδοσης του μοντέλου σας.
Ας υποθέσουμε ότι προβλέπετε τον αριθμό των ημερών για την διεκπεραίωση, την αποστολή και την παράδοση μιας παραγγελίας. Το μοντέλο προβλέπει ένα σύνολο αριθμών. Η τιμή του R στο τετράγωνο βασίζεται στις αποστάσεις μεταξύ των προβλεπόμενων τιμών και των πραγματικών τιμών στα δεδομένα εκπαίδευσής σας. Αυτό εκφράζεται ως αριθμός μεταξύ 0 – 100%, με τις υψηλότερες τιμές να υποδεικνύουν ότι η αναμενόμενη τιμή είναι πιο κοντά στην πραγματική τιμή. Συνήθως, υψηλότερη βαθμολογία σημαίνει ότι το μοντέλο αποδίδει καλύτερα. Θυμηθείτε όμως, ότι οι τέλειοι ή σχεδόν τέλειοι βαθμοί (υπερπροσαρμοσμένα μοντέλα) είναι συνήθως ενδεικτικά ενός προβλήματος με τα δεδομένα εκπαίδευσής σας.
Οι παρακάτω πληροφορίες απόδοσης είναι διαθέσιμες στην καρτέλα Σύνοψη:
- Ημερομηνία εκπαίδευσης
- Προέλευση δεδομένων
- Αποτέλεσμα ιστορικού
- Η λίστα πινάκων που χρησιμοποιείται για την πρόβλεψη.
Βελτίωση των επιδόσεων του μοντέλου πρόβλεψης
Μετά την εκπαίδευση και την αξιολόγηση του μοντέλου σας, είναι ώρα να προσαρμόσετε το μοντέλο σας για να βελτιώσετε την απόδοση του. Ακολουθούν ορισμένα πράγματα που μπορείτε να δοκιμάσετε για να συμβάλλετε στη βελτίωση της προγνωστικής ισχύος του μοντέλου σας.
Έλεγχος σφαλμάτων και ζητημάτων
- Εάν υπάρχουν σφάλματα αφού ολοκληρώσετε την εκπαίδευση, διορθώστε τα και εκπαιδεύστε ξανά το μοντέλο.
- Εάν δεν υπάρχουν σφάλματα, ελέγξτε τις λεπτομέρειες εκπαίδευσης. Προσπαθήστε να αντιμετωπίσετε όσο το δυνατόν περισσότερα ζητήματα και, στη συνέχεια, επαναλάβετε την εκπαίδευση του μοντέλου.
Εξέταση σημαντικότερων παραγόντων επιρροής
Μετά από κάθε εκπαίδευση, εμφανίζεται μια λίστα με τους κορυφαίους παράγοντες επιρροής στη σελίδα λεπτομερειών του μοντέλου. Κάθε στήλη που χρησιμοποιείται στην εκπαίδευση έχει βαθμολογία που αντιπροσωπεύει την επιρροή του στην εκπαίδευση. Αυτές οι βαθμολογίες συνδυάζονται ώστε να ισούνται με 100 τοις εκατό.
Αυτό σας βοηθά να δείξετε αν το μοντέλο σας έχει εκπαιδευτεί όπως αναμένετε. Για παράδειγμα, αν θέλετε να προβλέψετε την πρόθεση των διαδικτυακών αγοραστών και περιμένετε το Age, Product ως τη στήλη με τη μεγαλύτερη επιρροή, θα πρέπει να το δείτε στη λίστα στηλών με τη μεγαλύτερη επιρροή στη σελίδα λεπτομερειών μοντέλου. Εάν όχι, αυτό μπορεί να σημαίνει ότι το αποτέλεσμα της εκπαίδευσης δεν είναι το αναμενόμενο. Σε αυτή την περίπτωση, μπορείτε να καταργήσετε την επιλογή των άσχετων ή παραπλανητικών στηλών και να εκτελέσετε επανεκπαίδευση του μοντέλου ή να ελέγξετε τα προβλήματα εκπαίδευσής σας για να δείτε περισσότερες λεπτομέρειες.
Προσθήκη περισσότερων δεδομένων
Η ελάχιστη απαίτηση για τα δεδομένα εκπαίδευσης είναι 50 γραμμές, αλλά αυτό δεν σημαίνει ότι 50 γραμμές δεδομένων θα εκπαιδεύσουν ένα μοντέλο υψηλής προβλεψιμότητας. Προσπαθήστε να παρέχετε 1000 ή περισσότερες γραμμές δεδομένων, με τη σωστή ετικέτα, με μια ρεαλιστική κατανομή μεταξύ των επιλογών.
Ελέγξτε την κατανομή των δεδομένων σας
Για παράδειγμα, εάν χρησιμοποιείτε δύο ετικέτες επιλογής Ναι ή Όχι και οι περισσότερες γραμμές δεδομένων έχουν μόνο Ναι σε αυτήν τη στήλη, είναι δύσκολο για το μοντέλο σας να διδαχθεί από αυτά τα δεδομένα. Προσπαθήστε να έχετε μια κατανομή επιλογών στα δεδομένα σας που να αντικατοπτρίζει περίπου την κατανομή των επιλογών που ίσως αναμένετε να δείτε. Για παράδειγμα, εάν εξετάζετε στήλες δεδομένων για τα στοιχεία cat_owner και dog_owner, χρησιμοποιήστε μια κατανομή δεδομένων γύρω στο 50 τοις εκατό. Εάν εξετάζετε τυχόν παράνομες συναλλαγές, χρησιμοποιήστε μια λιγότερο ισορροπημένη κατανομή—ίσως 95 τοις εκατό έως 5 τοις εκατό. Εξετάστε τα πρότυπα του κλάδου για αυτόν τον τύπο πληροφοριών εάν δεν γνωρίζετε τι να περιμένετε.
Προσθήκη περισσότερων στηλών
Για παράδειγμα, θέλετε να προβλέψετε ποιοι πελάτες είναι πιο πιθανό να επιστρέψουν και να αγοράσουν τα προϊόντα σας. Μπορείτε να προσθέσετε περισσότερες στήλες για να εμπλουτίσετε τα δεδομένα εκπαίδευσης. Για παράδειγμα:
- Πώς αξιολογούν το προϊόν;
- Πόσο χρησιμοποιούν το προϊόν;
- Είναι ήδη πελάτες;
Περιορίστε τις επιλεγμένες στήλες σε σχετικές πληροφορίες
Μπορεί να έχετε ήδη πολλά σωστά χαρακτηρισμένα δεδομένα εκπαίδευσης, με πολλές στήλες δεδομένων. Τότε γιατί μπορεί το μοντέλο να εξακολουθεί να μην αποδίδει καλά; Ο λόγος θα μπορούσε να είναι ότι επιλέγετε στήλες που οδηγούν σε ανεπιθύμητη μεροληψία. Βεβαιωθείτε ότι όλες οι στήλες που επιλέγετε είναι σχετικά για να επηρεάσετε αυτά που θέλετε να προβλέψετε. Απενεργοποιήστε άσχετες ή παραπλανητικές στήλες.
Επικύρωση δεδομένων
- Βεβαιωθείτε ότι οι στήλες δεδομένων δεν διαθέτουν υψηλό ποσοστό τιμών που λείπουν (μεγαλύτερες από 99%). Συμπληρώστε τις τιμές που λείπουν με τα προεπιλεγμένα δεδομένα ή καταργήστε τη στήλη δεδομένων από την εκπαίδευση του μοντέλου.
- Εάν μια στήλη δεδομένων έχει υψηλή συσχέτιση με αποτέλεσμα πρόγνωσης, καταργήστε τη στήλη δεδομένων από την εκπαίδευση του μοντέλου.