Introduction
Nous pouvons évaluer nos modèles de classification selon les types d’erreurs qu’ils font, tels que les faux négatifs et les faux positifs. Cela peut donner des insights sur les types d’erreurs qu’un modèle fait, mais ne fournit pas nécessairement d’informations détaillées sur la façon dont le modèle peut s’exécuter si de légères modifications ont été apportées à ses critères de décision. Ici, nous allons aborder les courbes ROC (Receiver Operator Characteristic), qui s’appuient sur l’idée d’une matrice de confusion, mais fournissent des informations plus approfondies qui nous permettent d’élever nos modèles à un niveau supérieur.
Scénario :
Tout au long de ce module, nous allons utiliser le scénario suivant pour expliquer et utiliser les courbes ROC.
Votre association caritative qui porte secours aux victimes d’avalanches a créé un modèle Machine Learning qui peut estimer si l’objet détecté par des capteurs légers est un randonneur ou un élément naturel, comme un arbre ou une pierre. Cela vous permet d’effectuer le suivi du nombre de personnes qui se trouvent sur la montagne, afin que vous sachiez si une équipe de secours est nécessaire en cas d’avalanche. Le modèle est bien, mais vous vous demandez ce qui peut être amélioré. En interne, le modèle doit prendre une décision binaire pour savoir si l’objet est un randonneur ou non, mais cela est basé sur les probabilités. Ce processus de prise de décision peut-il être modifié pour améliorer ses performances ?
Prérequis
- Connaissance des modèles Machine Learning
Objectifs d’apprentissage
Dans ce module, vous allez :
- Comprendre comment créer des courbes ROC.
- Découvrir comment évaluer et comparer des modèles à l’aide de ces courbes.
- Vous exercer à ajuster un modèle à l’aide de caractéristiques tracées sur des courbes ROC.