Introduktion
Mått med ett värde, till exempel medelvärdesfel eller loggförlust, är snabba sätt att jämföra modeller när det gäller prestanda. De är dock inte alltid intuitiva och kan inte alltid ge en fullständig bild av hur modellen verkligen presterar. Om vi till exempel försöker upptäcka cancer men bara 1 av 100 000 vävnadsprover faktiskt innehåller cancer, kommer en modell som alltid säger "ingen cancer" att ha en utmärkt loggförlust (kostnad), men kommer att vara helt värdelös på kliniken. Att välja mer intelligenta sätt att utvärdera modeller är viktigt så att du kan få en korrekt förståelse för hur din modell kommer att fungera i verkligheten.
Scenario: Fjällräddning med maskininlärning
I den här modulen använder vi följande exempelscenario för att förklara och öva på att arbeta med olika mått och obalanser i data.
När vintern rullar runt igen har oron ökat eftersom vandrare ignorerar lavinriskvarningar och ger sig ut även när berget är stängt. Detta riskerar inte bara att orsaka fler laviner, utan eftersom vandrare sällan checkar in innan de ger sig ut, finns det inget sätt att veta om någon var på berget när en lavin ägde rum. En generös donator har försett lavinräddningsteamet med en svärm miniatyrdrönare som automatiskt kan skanna bergssidan efter föremål. På grund av den extrema terrängen och batteridräneringen i kylan förblir deras bandbredd för låg för att överföra video. I stället kan sensorerna som registreras extrahera grundläggande information, till exempel objektform, storlek och rörelse, och överföra den till startbasen. Kan du bygga en modell som kan avgöra när drönaren har stött på en person, för att hålla reda på vem som är på berget?
Förutsättningar
- Grundläggande kunskaper om klassificeringsmodeller
Utbildningsmål
I den här modulen kommer du att:
- Utvärdera prestanda för klassificeringsmodeller.
- Granska mått för att förbättra klassificeringsmodeller.
- Åtgärda prestandaproblem från obalanser i data.