Eseguire il training e valutare il modello
Il training e la valutazione del modello sono un processo iterativo di aggiunta di dati ed etichette al set di dati di training per insegnare al modello in modo più accurato. Per sapere quali tipi di dati ed etichette devono essere migliorati, Language Studio mostra il punteggio nella pagina Visualizza dettagli modello nel riquadro a sinistra.
Le singole entità e il punteggio complessivo del modello vengono suddivisi in tre metriche per spiegare che prestazioni offrono e dove devono migliorare.
| Metrico | Descrizione |
|---|---|
| Precisione | Rapporto tra i riconoscimenti di entità riusciti e tutti i tentativi di riconoscimento. Un punteggio elevato indica che, se l'entità viene riconosciuta, viene etichettata correttamente. |
| Richiamo | Rapporto tra i riconoscimenti delle entità riuscite e il numero effettivo di entità nel documento. Un punteggio elevato significa che l'entità o le entità vengono trovate correttamente, indipendentemente dal fatto che venga assegnata l'etichetta corretta |
| Punteggio F1 | Combinazione di precisione e richiamo che fornisce una singola metrica di assegnazione dei punteggi |
I punteggi sono disponibili sia per entità che per tutto il modello. È possibile che un'entità abbia un punteggio buono ma il modello interno non abbia un punteggio soddisfacente.
Come interpretare le metriche
Idealmente si vuole che il modello ottenga un punteggio soddisfacente a livello di precisione e richiamo, indicando quindi un funzionamento corretto del riconoscimento delle entità. Se entrambe le metriche hanno un punteggio basso, significa che il modello fatica a riconoscere le entità nel documento e, quando estrae tali entità, non assegna l'etichetta corretta con un'attendibilità elevata.
Se la precisione è bassa ma il richiamo è elevato, significa che il modello riconosce correttamente l'entità, ma non la etichetta come tipo di entità corretto.
Se la precisione è elevata, ma il richiamo è basso, significa che il modello non riconosce sempre l'entità, ma se il modello riesce ad estrarre l'entità, viene applicata l'etichetta corretta.
Matrice di confusione
Nella stessa pagina Visualizza dettagli modello è presente un'altra scheda nella parte superiore per la Matrice di confusione. Questa visualizzazione fornisce una tabella visiva di tutte le entità e delle prestazioni di ogni entità, offrendo quindi una visualizzazione completa del modello e delle rispettive limitazioni.
La matrice di confusione consente di identificare visivamente la posizione in cui aggiungere dati per migliorare le prestazioni del modello.