Introdução
As métricas de valor único, como erro quadrático médio ou perda de log, são maneiras rápidas de comparar modelos em termos de desempenho. No entanto, elas nem sempre são intuitivas e nem sempre podem apresentar uma visão completa do desempenho real do modelo. Por exemplo, se estivermos tentando detectar um tumor, mas apenas uma das 100 mil amostras de tecido realmente contiver um tumor, um modelo que sempre indica "sem câncer" terá uma excelente perda de log (custo), mas será completamente inútil na clínica. É importante escolher maneiras mais inteligentes de avaliar modelos para que você possa obter um entendimento adequado sobre como o seu modelo funcionará no mundo real.
Cenário: salvamento nas montanhas com aprendizado de máquina
Neste módulo, usaremos o cenário de exemplo a seguir para explicar e praticar o trabalho com diferentes métricas e desequilíbrios de dados.
Conforme o inverno se aproxima novamente, a preocupação aumenta, porque trilheiros estão ignorando os avisos de risco de avalanche e estão se aventurando mesmo quando as montanhas são fechadas. Esse risco não apenas causa mais avalanches, mas como os alpinistas raramente se informam sobre isso antes de se aventurarem, não há como saber se alguém estava na montanha quando uma avalanche ocorreu. Um doador generoso forneceu à equipe de resgate em avalanches uma variedade de drones em miniatura que conseguem verificar automaticamente as montanhas em busca de objetos. Devido às condições extremas do terreno e ao descarregamento da bateria no frio, a largura de banda deles permanece muito baixa para transmitir vídeos. Em vez disso, os sensores integrados podem extrair informações básicas, como forma, tamanho e movimento do objeto, e transmitir isso para a base inicial. Você pode criar um modelo que possa determinar o momento em que o drone encontra uma pessoa, a fim de acompanhar quem está na montanha?
Pré-requisitos
- Familiaridade básica com os modelos de classificação
Objetivos de aprendizagem
Neste módulo, você vai:
- Avaliar o desempenho dos modelos de classificação.
- Analisar as métricas para aprimorar os modelos de classificação.
- Atenuar os problemas de desempenho nos desequilíbrios de dados.