Introducción
Podemos evaluar nuestros modelos de clasificación en términos de los tipos de errores que cometen, como falsos negativos y falsos positivos. Esto puede proporcionar información sobre los tipos de errores que comete un modelo, pero no proporciona necesariamente información detallada sobre qué rendimiento podría tener el modelo si se realizaran pequeños ajustes según sus criterios de decisión. Aquí trataremos las curvas de características operativas del receptor (ROC), que se basan en la idea de una matriz de confusión, pero nos proporcionan información más detallada que nos permite mejorar nuestros modelos en mayor medida.
Escenario:
A lo largo de este módulo, usaremos el siguiente escenario de ejemplo para explicar y hacer prácticas de trabajo con las curvas de ROC.
Su organización benéfica para rescatar personas tras una avalancha ha creado con éxito un modelo de Machine Learning que puede estimar si un objeto detectado por sensores ligeros es un excursionista o un objeto natural, como un árbol o una roca. Esto le permite realizar un seguimiento del número de personas que se encuentran en la montaña con el fin de saber si se necesita un equipo de rescate tras producirse una avalancha. El modelo funciona razonablemente bien, aunque se pregunta si hay espacio para la mejora. Internamente, el modelo debe tomar una decisión binaria sobre si un objeto es un excursionista o no, pero esto se basa en probabilidades. ¿Se puede retocar este proceso de toma de decisiones para mejorar su rendimiento?
Requisitos previos
- Familiaridad con los modelos de Machine Learning
Objetivos de aprendizaje
En este módulo, aprenderá a:
- Descripción de la creación de curvas de ROC.
- Explore cómo evaluar y comparar modelos mediante estas curvas.
- Practicará un ajuste a un modelo mediante características trazadas en curvas de ROC.