Introduction
Les mesures à valeur unique, comme l’erreur moyenne quadratique ou la perte de journal, sont des méthodes rapides pour comparer des modèles en termes de performances. Elles ne sont cependant pas toujours intuitives et ne donnent pas toujours une vision complète sur la façon dont le modèle se comporte véritablement. Par exemple, si nous essayons de détecter un cancer mais que seulement 1 des échantillons de tissu sur 100 000 contiennent un cancer, un modèle qui indique toujours « aucun cancer » aura une excellente perte logarithmique (coût), mais sera complètement inutile dans la pratique. Il est important de choisir des méthodes plus intelligentes pour évaluer les modèles : vous pouvez ainsi mieux comprendre la manière dont votre modèle fonctionnera dans le monde réel.
Scénario : sauvetage en montagne avec l’apprentissage automatique
Tout au long de ce module, nous allons utiliser le scénario suivant pour expliquer et les différentes mesures et les déséquilibres de données, puis nous allons nous entraîner.
L’hiver approchant, l’inquiétude monte, car les randonneurs ignorent les avertissements liés aux risques d’avalanche. Ils s’aventurent même quand les pistes sont fermées. Non seulement ce risque est à l’origine de plus d’avalanches, mais comme les randonneurs sont rarement enregistrés avant de partir à l’aventure, il n’y a aucun moyen de savoir si quelqu’un se trouvait sur la montagne quand une avalanche a lieu. Un donateur généreux a offert à l’équipe de secours plusieurs drones miniatures qui sont en mesure d’analyser automatiquement les objets sur les pistes. En raison du terrain extrême et de la batterie qui ne tient pas dans le froid, la bande passante reste insuffisante pour transmettre de la vidéo. Au lieu de cela, les capteurs intégrés peuvent extraire des informations de base telles que la forme, la taille et le déplacement de l’objet, et les transmettre à la base d’accueil. Pouvez-vous créer un modèle capable de déterminer le moment où le drone est arrivé sur une personne, afin d’assurer le suivi des personnes qui se trouvent dans la montagne ?
Prérequis
- Connaissance de base des modèles de classification
Objectifs d’apprentissage
Dans ce module, vous allez :
- Évaluer les performances des modèles de classification.
- Passer en revue les métriques pour améliorer les modèles de classification.
- Résoudre les problèmes de performances liés aux déséquilibres des données.