Analyser la classification avec les courbes Receiver Operator Characteristic
Les modèles de classification doivent attribuer un échantillon à une catégorie. Par exemple, il doit utiliser des fonctionnalités telles que la taille, la couleur et le mouvement pour déterminer si l’objet est un randonneur ou un arbre.
Nous pouvons améliorer les modèles de classification de nombreuses manières. Par exemple, nous pouvons nous assurer que nos données sont équilibrées, nettoyées et mises à l’échelle. Nous pouvons également modifier l’architecture du modèle et utiliser des hyperparamètres pour extraire autant de performances que possible de nos données et de notre architecture. Finalement, nous ne trouvons pas de méthode plus efficace pour améliorer les performances de notre ensemble de tests (ou données d’exclusion) et déclarons notre modèle prêt.
À ce stade, le réglage du modèle peut s’avérer complexe, mais nous pouvons utiliser une étape finale simple pour améliorer son fonctionnement. Pour comprendre cela, toutefois, nous devons revenir à des concepts de base.
Probabilités et catégories
De nombreux modèles ont plusieurs étapes de prise de décision, et la dernière est souvent une étape de binarisation. Pendant la binarisation, les probabilités sont converties en étiquette matérielle. Par exemple, supposez que des caractéristiques sont fournies au modèle, et qu’il calcule qu’il y a une probabilité de 75 % qu’il s’agisse d’un randonneur et de 25 % qu’il s’agisse d’un arbre. Un objet ne peut pas être à 75 % un randonneur et à 25 % un arbre. Par conséquent, le modèle applique un seuil, qui est normalement de 50 %. Étant donné que la classe Randonneur est supérieure à 50 %, l’objet est déclaré comme étant un randonneur.
Le seuil de 50 % est logique, ce qui signifie que l’étiquette la plus probable en fonction du modèle est toujours choisie. Toutefois, si le modèle est biaisé, ce seuil de 50 % peut ne pas être approprié. Par exemple, si le modèle a une légère tendance à sélectionner des arbres plus que des randonneurs (en choisissant des arbres 10 % plus fréquemment qu’il ne le devrait), nous pourrions ajuster notre seuil de décision pour tenir compte de cela.
Actualisateur sur les matrices décisionnelles
Les matrices décisionnelles sont un excellent moyen d’évaluer les types d’erreurs qu’un modèle fait. Cela nous donne le taux de vrais positifs (TP), de vrais négatifs (TN), de faux positifs (FP) et de faux négatifs (FN)
Nous pouvons calculer certaines caractéristiques pratiques à partir de la matrice de confusion. Voici deux caractéristiques courantes :
- Taux de vrais positifs (sensibilité) : fréquence à laquelle les étiquettes « True » sont correctement identifiées comme « True ». Par exemple, la fréquence à laquelle le modèle prédit « randonneur » lorsque l’échantillon qu’il montre est en fait un randonneur.
- Taux de faux positifs (taux de fausses alertes) : fréquence à laquelle les étiquettes « False » sont incorrectement identifiées comme « True ». Par exemple, la fréquence à laquelle le modèle prédit « randonneur » lorsqu’il s’agit d’un arbre.
L’examen des taux de vrais positifs et de faux positifs peut nous aider à comprendre les performances d’un modèle.
Prenons l’exemple de notre randonneur. Dans l’idéal, le taux de vrais positifs est très élevé et le taux de faux positifs est très faible, car cela signifie que le modèle identifie les randonneurs et n’identifie pas souvent les arbres comme étant des randonneurs. Pourtant, si le taux de vrais positifs est très élevé, mais que le taux de faux positifs est également très élevé, le modèle est biaisé ; il identifie presque tout ce qu’il rencontre comme étant un randonneur. De la même manière, il n’est pas souhaitable qu’un modèle ait un faible taux de vrais positifs, car dans ce cas le modèle identifiera des randonneurs comme étant des arbres.
Courbes ROC
Les courbes ROC (Receiver Operator Characteristic) sont un graphique dans lequel nous allons tracer le taux de vrais positifs par rapport au taux de faux positifs.
Les courbes ROC peuvent prêter à confusion pour les débutants pour deux raisons principales. La première raison est que les débutants savent qu’un modèle n’a qu’une seule valeur pour les taux de vrais positifs et de vrais négatifs ; un tracé ROC doit ressembler à ce qui suit :
Si vous pensez également que c’est le cas, vous avez raison. Un modèle entraîné ne produit qu’un seul point. Toutefois, n’oubliez pas que nos modèles ont un seuil (normalement de 50 %) utilisé pour déterminer si l’étiquette True (randonneur) ou False (arbre) doit être utilisée. Si nous modifions ce seuil à 30 % et recalculons les taux vrais positifs et faux positifs, nous obtenons un autre point :
Si nous effectuons cette opération pour les seuils compris entre 0 % et 100 %, nous pouvons obtenir un graphe similaire à celui-ci :
Nous l’affichons généralement sous forme de ligne :
La deuxième raison pour laquelle ces graphiques peuvent prêter à confusion est le jargon impliqué. N’oubliez pas que nous souhaitons un taux élevé de vrais positifs (en identifiant les randonneurs en tant que tels) et un faible taux de faux positifs (ne pas identifier les arbres comme randonneurs).
ROC correcte, ROC incorrecte
Il est plus judicieux de comprendre les courbes de ROC correctes et incorrectes dans un environnement interactif. Quand vous êtes prêt, passez à l’exercice suivant pour découvrir cette rubrique.