Introduktion
Vi kan utvärdera våra klassificeringsmodeller när det gäller de typer av misstag som de gör, till exempel falska negativa och falska positiva identifieringar. Detta kan ge insikter om vilka typer av misstag en modell gör, men ger inte nödvändigtvis djup information om hur modellen skulle kunna utföras om små justeringar gjordes av dess beslutskriterier. Här diskuterar vi ROC-kurvor (receiver operator characteristic), som bygger på idén om en förvirringsmatris men ger oss djupare information som gör att vi kan förbättra våra modeller i högre grad.
Scenario:
I den här modulen använder vi följande exempelscenario för att förklara och öva på att arbeta med ROC-kurvor.
Din välgörenhetsorganisation för lavinräddning har framgångsrikt byggt en maskininlärningsmodell som kan uppskatta om ett objekt som upptäcks av lätta sensorer är en vandrare eller ett naturligt objekt, till exempel ett träd eller en sten. På så sätt kan du hålla reda på hur många som befinner sig på berget, så att du vet om ett räddningsteam behövs när en lavin slår till. Modellen fungerar ganska bra, även om du undrar om det finns utrymme för förbättringar. Internt måste modellen fatta ett binärt beslut om huruvida ett objekt är en vandrare eller inte, men detta baseras på sannolikheter. Kan den här beslutsprocessen justeras för att förbättra dess prestanda?
Förutsättningar
- Kunskaper om maskininlärningsmodeller
Utbildningsmål
I den här modulen kommer du att:
- Förstå hur du skapar ROC-kurvor.
- Utforska hur du utvärderar och jämför modeller med hjälp av dessa kurvor.
- Öva på att finjustera en modell med egenskaper ritade på ROC-kurvor.