Ydeevne for forudsigelsesmodel
Efter hver træning bruger AI Builder testdatasættet til at evaluere kvaliteten og nøjagtigheden af den nye model. Træningsresultatet for din model vises på en oversigtsside. Disse resultater er udtrykt som en ydeevneklasse af typen, B, C eller D.
Måle ydeevne
Ydeevneniveau
AI Builder viser en karakter, der kan hjælpe dig med at evaluere din models nøjagtighed. Beslutningen om, hvorvidt din model er klar til at blive publiceret, er en, du skal træffe på baggrund af dine unikke behov og omstændighederne. AI Builder omfatter følgende performance-karakterer, som kan hjælpe dig med at træffe denne afgørelse.
Sådan fortolkes de enkelte karakterer
| Karakter | Vejledning |
|---|---|
| A | Du kan muligvis stadigvæk forbedre modellen, men det er den bedste karakter, du kan få. |
| B | Modellen er korrekt i mange af tilfældene. Kan den forbedres? Det afhænger af dine unikke omstændigheder, data og krav. |
| C | Modellen er lidt bedre end et tilfældigt gæt. Det kan være acceptabelt for nogle applikationer, men i de fleste tilfælde er dette en model, som du bør fortsætte med at ændre og forbedre. |
| D | Der er noget galt. Modellen er værre, end vi forventer, at der skal udføres tilfældige gæt (undertilpasset model). Eller den klarer sig så godt (på eller i nærheden af 100 %), at du sikkert har en datakolonne, der er direkte relateret til resultatet (overtilpasset model). |
- Flere oplysninger om undertilpassede modeller
- Flere oplysninger om overtilpassede modeller
Området varierer, afhængigt af dataene
Hvis du forudsiger 2 eller flere resultater, kan de faktiske nøjagtighedskarakterer, der svarer til ovenstående karakterer, variere, afhængigt af datafordelingen af dine historiske data. Forskellen tager højde for det faktum, at forbedringen i forhold til grundlinjen for graden ændres, når du flytter den pågældende grundlinje.
Lad os sige, at din model forudsiger, hvorvidt en forsendelse ankommer rettidigt. Hvis den historiske andel af rettidige leveringer er 80%, vil en score for ydeevnen på 92 svare til karakteren B. Hvis den historiske andel af rettidige leveringer derimod blot er 50%, vil en nøjagtighed på 92 svare til karakteren A. Det skyldes, at 92 er en meget større forbedring i forhold til 50% end i forhold 80%, og du ville forvente, at et tilfældigt gæt er tæt på disse procenter.
Eksempel på binære historiske data
I dette eksempel vises nøjagtighedsintervallerne for hver karakter, når de historiske data indeholder forskellige til rettidighedsgrader for en binær forudsigelse.
| Karakter | Nøjagtighedsinterval for en historisk rettidighedsgrad på 25 % | Nøjagtighedsinterval for en historisk rettidighedsgrad på 50 % | Nøjagtighedsinterval for en historisk rettidighedsgrad på 80 % | Nøjagtighedsinterval for en historisk rettidighedsgrad på 95 % |
|---|---|---|---|---|
| A | 92,5 - <99,3 % | 90 - 98 % | 93 - <99 % | 98,1 - <99,8 % |
| B | 81,3 - <92,5 % | 75 - <90 % | 84 - <93 % | 95,3 - <98,1 % |
| C | 66,3 - <81,3 % | 55 - <75 % | 71 - <84 % | 91,5 - <95,3 % |
| D | <66,3 % eller ≥99,3 % | <55 % eller ≥98 % | <71 % eller ≥99 % | <91,5 % eller ≥99,8 % |
Eksempel på flere resultater for historiske data
Præcisionsrater, der svarer til de enkelte klassifiikationer, kan også variere, når du skal forudsige mere end to resultater. Lad os antage, at modellen forudsiger mere end to muligheder for levering: tidligt, til tiden eller forsinket.
Præcisionsintervallerne for de enkelte rater ændres, når de historiske til tiden-rater ændres.
| Karakter | Tidligt (33,3 %) | Tidligt (20 %) | Tidligt (10 %) |
|---|---|---|---|
| Til tiden (33,3 %) | Til tiden (40 %) | Til tiden (80 %) | |
| Forsinket (33,4 %) | Forsinket (40 %) | Forsinket (10 %) | |
| A | 86,7 - <98,7 % | 87,2 - <98,7 % | 93,2 - <99,3 % |
| B | 66,7 - <86,7 % | 68,0 - <87,2 % | 83,0 - <93,2 % |
| C | 40,0 - <66,7 % | 42,4 - <68,0 % | 69,4 - <83,0 % |
| D | 33,3 - <40,0 % | 36,0 - <42,4 % | 66,0 - <69,4 % |
Eksempel på numerisk forudsigelse
I forbindelse med numeriske forudsigelse bruger AI Builder den R-firkantede statistiske måleenhed til at beregne graden af præcision i dine modeller. I følgende tabel vises de karakterer, der er knyttet til hver enkelt karakter:
| Karakter | R-kvadreret |
|---|---|
| A | 85 % - <99 % |
| B | 60 % - <85 % |
| C | 10 % - <60 % |
| D | ≥99 % eller <10 % |
Oplysninger om ydeevne
Du kan få oplysninger om træning ved at vælge Se detaljer i modellens karakterfelt. Følgende oplysninger er tilgængelige på fanen Ydeevne :
Bemærk
Du kan få flere oplysninger om de ekstra funktioner, der er planlagt inden for dette område, i udgivelsesplanerne.
- Nøjagtighedsscore
- R-kvadreret
Nøjagtighedsscore
AI Builder beregner scoren for nøjagtighed for din model på baggrund af resultatet af testdatasættet. Før træningen adskiller AI Builder dit datasæt i separate træningsdata og testdatasæt. Efter træningen anvender AI Builder din model til kunstig intelligens på testdatasættet og beregner derefter scoren for nøjagtighed. Hvis der f.eks. datasæt 200 rækker i testtesten, og AI Builder forudsiger 192 af dem er korrekt, viser AI Builder en præcisionspoint på 96 procent.
Du kan finde flere oplysninger under Evaluer din model.
R-kvadreret
For numeriske forudsigelse beregner AI Builder en r-firkantet score efter hver oplæring. Denne score måler modellens bedstehed i forhold til, og den bruges til at bestemme modellens præstationsklasse.
Lad os sige, at du forudsiger antallet af dage, det vil tage at opfylde, sende og levere en ordre. Modellen forudsiger et sæt af tal. Den r-kvadrede værdi er baseret på afstandene mellem forudsagte værdier og faktiske værdier i dine træningsdata. Dette udtrykkes som et tal mellem 0 og 100 %, hvor høje værdier, der angiver den forudsagte værdi, ligger tættere på den reelle værdi. Generelt betyder det, at modellen performer bedre. Vær dog opmærksom på, at perfekte eller næsten perfekte scorer (overtilpassede modeller) normalt betyder, at der er et problem med dine oplæringsdata.
Følgende ydeevneoplysninger er tilgængelige under fanen Oversigt:
- Træningsdato
- Datakilde
- Historisk resultat
- Tabelliste, der bruges til at udføre forudsigelsen.
Gør ydeevnen for din forudsigelsesmodel bedre
Når du har trænet og evalueret din model, er det tid til at finjustere modellen for at forbedre dens ydeevne. Her er nogle ting, du kan prøve for at forbedre modellens forudsigelser.
Gennemse fejl og problemer
- Hvis der er fejl, når du er færdig med træningen, skal du løse dem og træne modellen igen.
- Hvis der ikke er nogen fejl, skal du se træningsoplysningerne. Prøv at håndtere så mange problemer som muligt, og gentræn derefter modellen.
Gennemse de mest indflydelsesrige influencere
Efter hver træning vises en liste over de mest indflydelsesrige influencere på siden med modeloplysninger. Hver kolonne, der bruges i træningen, har en score, som repræsenterer indflydelsen på træningen. Disse point kombineres til lig med 100 procent.
Det hjælper med at vise, om din model er trænet som forventet. Hvis du f.eks. vil forudsige onlinekøberes intentioner, og du forventer Alder, Produkt som den mest indflydelsesrige kolonne, kan du se det på listen over de mest indflydelsesrige kolonner på siden med modeldetaljer. Hvis ikke, kan det indikere, at træningsresultatet ikke er som forventet. I dette tilfælde kan du enten fravælge de irrelevante eller vildledende kolonner og gentræne modellen eller kontrollere træningsproblemerne for at se flere oplysninger.
Tilføj flere data
Minimumkravet for træningsdata er 50 rækker, men det betyder ikke, at 50 datarækker træner en yderst forudsigende model. Prøv at angive 1000 eller flere datarækker, der er korrekt forsynet med mærkater, med en realistisk fordeling mellem mulighederne.
Kontrollér datafordelingen
Hvis du f.eks. bruger en mulighed for to mærkater, Ja eller Nej, og der primært står Ja i denne kolonne for de fleste af dine datarækker, er det svært at træne din model på baggrund af disse data. Prøv at have en fordeling af muligheder i dine data, der stort set afspejler fordelingen af de muligheder, du forventer at se. Hvis du f.eks. kigger på datakolonner for katteejer og hundeejer, kan du bruge en datafordeling på omkring 50 procent. Hvis du kigger på svigagtige transaktioner, skal du bruge en mere ubalanceret fordeling – muligvis 95 %-5 %. Se branchestandarder for denne type oplysninger, hvis du ikke ved, hvad du kan forvente.
Tilføj flere kolonner
Hvis du f.eks. vil forudsige, hvilke kunder der har større sandsynlighed for at vende tilbage og købe dine produkter. Du kan tilføje flere kolonner for at gøre træningsdataene mere detaljerede. Eksempel:
- Hvordan bedømmer de produktet?
- Hvor meget bruger de produktet?
- Er det en eksisterende kunde?
Begræns valgte kolonner til relevante oplysninger
Du har måske allerede mange korrekt mærkede træningsdata med mange datakolonner. Hvorfor yder modellen så stadig ikke godt? Det kan være, at du vælger kolonner, der fører til uønskede forskelle. Sørg for, at alle de kolonner, du vælger, er relevante for at påvirke det, du vil forudsige. Fravælg irrelevante eller vildledende kolonner.
Valider data
- Sørg for, at der ikke er en høj forekomst af manglende værdier (større end 99procent) for de datakolonner, du vælger. Udfyld de manglende værdier med standarddata, eller fjern datakolonnen fra modeltræningen.
- Hvis en datakolonne har en høj korrelation med et forudsigelsesresultat, skal du fjerne datakolonnen fra modeltræningen.