Prestanda för förutsägelsemodell
Efter varje träning använder AI Builder testdatauppsättningen för att utvärdera den nya modellens kvalitet och exakthet. En sammanfattningssida för din modell visar resultatet av modellens träning. Resultatet uttrycks som en prestanda klass av A, B, C eller D.
Mäta prestanda
Prestandabetyg
Efter varje träning visar AI Builder visar ett betyg för att hjälpa dig att utvärdera modellens noggrannhet. Beslutet om huruvida modellen är redo att publiceras är något du måste fatta utifrån dina unika behov och omständigheter. AI Builder ger följande prestandabetyg som hjälper dig att göra den bedömningen.
Så här tolkar du varje betyg
| Betyg | Riktlinjer |
|---|---|
| A | Det kan finnas lite utrymme för förbättringar av modellen men det är det bästa betyget du kan få. |
| B | Modellen är korrekt i många fall. Kan den förbättras? Det beror på dina unika omständigheter, data och krav. |
| C | Modellen presterar lite bättre än en slumpmässig gissning. Den kan vara acceptabel för vissa program men i de flesta fall är det här en modell du kan fortsätta att anpassa och förbättra. |
| D | Något är fel. Din modell fungerar antingen sämre än vi väntar sig en slumpmässig gissning att utföra (underanpassad modell). Eller så går det så bra (vid eller nära 100 %) att du förmodligen har en datakolumn som är direkt korrelerad till resultatet (överanpassad modell). |
- Mer information om underanpassade modeller
- Mer information om överanpassade modeller
Noggrannhetsområdet varierar beroende på data
Om du förutspår två eller flera resultat kan de faktiska noggrannhetsgraden som motsvarar ovanstående betyg variera beroende på datadistributionen av dina historiska data. Skillnaden beror på det faktum att förbättringen i förhållande till baslinjenivån ändras när du flyttar den baslinjen.
Anta att din modell förutsäger om en leverans kommer att komma in i tid. Om din historiska nivå för leveranser i tid är 80% skulle en prestandapoäng på 92 motsvara betyget B. Men om din historiska nivå för leveranser i tid är 50% skulle samma poäng, 92, motsvara betyget A. Det beror på att 92 är en mycket större förbättring från 50% än från 80%, och du skulle kunna förvänta dig att en slumpmässig gissning ligger nära det procentvärdet.
Exempel på binär historisk data
Det här exemplet visar noggrannhetsintervallen för varje betyg när historiska data innehåller olika nivåer för leveranser i tid för en binär förutsägelse.
| Betyg | Noggrannhetsintervall för 25 % leveranser i tid historiskt | Noggrannhetsintervall för 50 % leveranser i tid historiskt | Noggrannhetsintervall för 80 % leveranser i tid historiskt | Noggrannhetsintervall för 95 % leveranser i tid historiskt |
|---|---|---|---|---|
| A | 92,5 – <99,3 % | 90 – 98 % | 93 – <99 % | 98,1 – <99,8 % |
| B | 81,3 – <92,5 % | 75 – <90 % | 84 – <93 % | 95,3 – <98,1 % |
| C | 66,3 – <81,3 % | 55 – <75 % | 71 – <84 % | 91,5 – <95,3 % |
| D | <66,3 % eller ≥99,3 % | <55 % eller ≥98 % | <71 % eller ≥99 % | <91,5 % eller ≥99,8 % |
Flera exempel på resultathistorik
Noggrannhetsnivåerna som motsvarar varje kvalitet kan också variera när du förväntar dig mer än 2 resultat. Anta att modellen dikterar fler än två alternativ för leverans: tidigt, i tid eller sent.
Noggrannhetsområdena för varje betyg ändras när de historiska tarifferna ändras.
| Betyg | Tidigt (33,3 %) | Tidigt (20 %) | Tidigt (10 %) |
|---|---|---|---|
| I tid (33,3 %) | I tid (40 %) | I tid (80 %) | |
| Sent (33,4 %) | Sent (40 %) | Sent (10 %) | |
| A | 86,7 – <98,7 % | 87,2 – <98,7 % | 93,2 – <99,3 % |
| B | 66,7 – <86,7 % | 68,0 – <87,2 % | 83,0 – <93,2 % |
| C | 40,0 – <66,7 % | 42,4 – <68,0 % | 69,4 – <83,0 % |
| D | 33,3 – <40,0 % | 36,0 – <42,4 % | 66,0 – <69,4 % |
Exempel på numerisk förutsägelse
För numerisk prediktion använder AI Builder R-fyrkantsmåttet för att beräkna modellens precisionsgrad. I följande tabell visas de betyg som motsvarar varje grad:
| Betyg | R-kvadrat |
|---|---|
| A | 85 % – <99 % |
| B | 60 % – <85 % |
| C | 10 % – <60 % |
| D | ≥ 99 % eller < 10 % |
Prestandainformation
Träningsinformation finns i Se information i modellens betygsruta. På fliken Prestanda är följande information tillgänglig:
Kommentar
Information om ytterligare funktioner som planteras för det här området finns i utgivningsplanerna.
- Noggrannhetspoäng
- R-kvadrat
Noggrannhetspoäng
AI Builder beräknar noggrannhetspoängen för din modell utifrån testdatauppsättningens förutsägelseresultat. Före träningen separerar AI Builder datauppsättningen till separata träningsdata och testar datauppsättningar. Och efter träningen använder AI Builder din AI-modell för att testa datauppsättningen och beräknar sedan noggrannhetspoängen. Exempel: om testresultaten datauppsättning har 200 rader och AI Builder förser korrekt 192 av dem, AI Builder visar en precisionspoäng på 96 procent.
Mer information finns i Utvärdera din modell.
R-kvadrat
För numerisk prediktion beräknar AI Builder en r-fyrkantspoäng efter varje utbildning. Det här resultatet mäter modellens funktioner för passning och används för att fastställa modellens prestandaklass.
Anta att du förutsäger antalet dagar att uppfylla, frakta och leverera en beställning. Modellen förutsäger en uppsättning siffror. Det värdet för R-kvadrat baseras på avstånden mellan förväntade värden och faktiska värden i dina träningsdata. Det här uttrycks som ett tal mellan 0 – 100 %, med högre värden anger det förväntade värdet är närmare det verkliga värdet. Normalt betyder högre poäng att modellen presterar bättre. Men kom ihåg att perfekta eller nästan perfekta resultat (överanpassade modeller) vanligtvis tyder på ett problem med träningsdata.
På fliken Sammanfattning är följande prestandainformation tillgänglig:
- Träningsdatum
- Datakälla
- Historiskt resultat
- Tabellista som används för att göra förutsägelser.
Förbättra prestanda för förutsägelsemodell
När du har tränat och utvärderat din modell är det dags att ändra modellen för att förbättra prestanda. Här följer några saker som du kan prova för att förbättra modellens förutsägande kraft.
Granska fel och problem
- Om det finns några fel när du har slutfört träningen korrigerar du dem och tränar om modellen.
- Om det inte finns några fel kan du kontrollera träningsinformationen. Försök att adressera så många problem som möjligt och träna sedan modellen.
Granska dina viktigaste influerare
Efter varje träning visas en lista över dina viktigaste influerare på sidan med modellinformation. Varje kolumn som används i utbildningen har en poäng som representerar dess påverkan på utbildningen. De här poängen kombineras till sammanlagt 100 procent.
På så sätt kan du se om din modell är utbildad som förväntat. Om du t.ex. vill använda onlinetjänster och förväntar dig ålder, produkt som den mest viktiga kolumnen, bör du se att det finns i den mest viktiga kolumnlistan på sidan med modellinformation. Om du inte gör det kan det betyda att träningsresultatet inte är som förväntat. I det här fallet kan du antingen avmarkera de irrelevanta eller missvisande kolumner och omträna modellen eller kontrollera dina träningsproblem för att se information.
Lägg till mer data
Minimikravet för träningsdata är 50 rader, men det innebär inte att 50 datarader tränar en mycket förutsägande modell. Försök tillhandahålla 1000 eller fler datarader, korrekt märkta, med en realistisk fördelning mellan alternativen.
Kontrollera datadistributionen
Om du till exempel använder två alternativetiketter, Ja eller Nej, och de flesta datarader bara har Ja i det här kolumner, är det svårt för din modell att lära sig mer om dessa data. Försök att ha en distribution av alternativ i dina data som i stort sett visar fördelningen av de alternativ du förväntas se. Till exempel om du tittar på datakolumner för cat_owner och dog_owner, bör du använda en datadistribution runt 50 procent. Om du tittar på bedrägliga transaktioner bör du använda en mer obalanserad fördelning – kanske 95 procent till 5 procent. Titta på branschstandarder för den här typen av information om du inte vet vad du ska förvänta dig.
Lägg till fler kolumner
Om du till exempel vill förutsäga vilken kund som har störst sannolikhet att komma tillbaka och köpa dina produkter. Du kan lägga till fler kolumner för att berika dina träningsdata. Till exempel:
- Hur betygsätts produkten?
- Hur mycket använder de produkten?
- Är de en befintlig kund?
Begränsa markerade kolumner till relevant information
Du kanske redan har stora mängder korrekt märkta träningsdata med många datakolumner. Men varför presterar modellen fortfarande inte bra? Det kan vara för att du väljer kolumner som leder till oönskad bias. Se till att alla kolumner du väljer är relevanta för att påverka vad du vill förutsäga. Avmarkera irrelevanta eller missvisande kolumner.
Kontrollera data
- Kontrollera att datakolumner inte har en hög frekvens av saknade värden (99%). Fyll i de saknade värdena med standarddata eller ta bort datakolumnen från modellträningen.
- Om en datakolumn har hög korrelation med förutsägelseresultat tar du bort datakolumnen från modellträningen.