Introduzione
È possibile valutare i modelli di classificazione in termini di tipi di errori commessi, ad esempio falsi negativi e falsi positivi. In questo modo si possono ottenere informazioni rilevanti sui tipi di errori commessi da un modello, ma non necessariamente informazioni approfondite sulle prestazioni del modello in caso di lievi modifiche ai relativi criteri decisionali. In questo modulo verranno illustrate le curve ROC, che si basano sull'idea di una matrice di confusione, ma forniscono informazioni più approfondite che consentono di migliorare in misura maggiore la precisione dei modelli.
Scenario:
A questo scopo, verrà usato lo scenario di esempio seguente per spiegare che cosa sono le curve ROC e imparare a usarle.
Un'associazione di volontari per il salvataggio di escursionisti in caso di valanghe ha creato un modello di Machine Learning in grado di stimare se un oggetto rilevato dai sensori leggeri è un escursionista o un oggetto naturale, ad esempio un albero o una roccia. In questo modo è possibile tenere traccia del numero di persone presenti sulla montagna e quindi sapere se è necessario intervenire con una squadra di salvataggio nel caso di una valanga. Il modello funziona ragionevolmente bene, anche se ci si chiede se possa essere perfezionato. Internamente, il modello deve prendere una decisione binaria sul fatto che un oggetto sia un escursionista o meno, ma la decisione è basata sulle probabilità. È possibile perfezionare questo processo decisionale per migliorarne le prestazioni?
Prerequisiti
- Familiarità con i modelli di Machine Learning
Obiettivi di apprendimento
Contenuto del modulo:
- Apprendere come creare curve ROC.
- Scoprire come valutare e confrontare i modelli usando queste curve.
- Fare pratica con l'ottimizzazione di un modello usando le caratteristiche tracciate sulle curve ROC.