Introducción
Las métricas de un solo valor, como el error cuadrático medio o la pérdida logarítmica, son formas rápidas de comparar los modelos en términos de rendimiento. Pero no siempre son intuitivas y no siempre pueden dar una imagen completa sobre cómo funciona realmente el modelo. Por ejemplo, si estamos intentando detectar el cáncer, pero solo una de cada 100 000 muestras de tejido contiene realmente cáncer, un modelo que siempre dice "no hay cáncer" tendrá una pérdida de registros (costo) excelente, pero será completamente inútil en la clínica. Elegir formas más inteligentes de evaluar los modelos es importante para que pueda comprender correctamente cómo funcionará el modelo en el mundo real.
Escenario: Rescate en la montaña con aprendizaje automático
A lo largo de este módulo, usaremos el siguiente escenario de ejemplo para explicar las curvas de ROC y hacer prácticas de trabajo con ellas.
Con la llegada del invierno, ha aumentado la preocupación porque los excursionistas ignoran las advertencias de riesgo de avalancha y se aventuran a salir incluso cuando la montaña está cerrada. No solo se corre el riesgo de provocar más avalanchas, sino que, como los excursionistas rara vez se registran antes de aventurarse, no hay forma de saber si alguien estaba en la montaña cuando se produjo una avalancha. Un generoso donante ha proporcionado al equipo de rescate de avalanchas un enjambre de drones en miniatura capaces de escanear automáticamente las laderas en busca de objetos. Debido al terreno extremo y al agotamiento de la batería con el frío, su ancho de banda sigue siendo demasiado bajo para transmitir vídeo. En cambio, los sensores de a bordo pueden extraer información básica como la forma, el tamaño y el movimiento del objeto y transmitirla a la base. ¿Se puede construir un modelo que pueda determinar cuándo el dron se ha cruzado con una persona, para llevar la cuenta de quién está en la montaña?
Requisitos previos
- Conocimientos básicos de los modelos de clasificación
Objetivos de aprendizaje
Objetivos de este módulo:
- Evaluación del rendimiento de los modelos de clasificación
- Revisión de las métricas para mejorar los modelos de clasificación
- Mitigación de problemas de rendimiento de desequilibrios de datos