Träna och utvärdera din modell
Att träna och utvärdera din modell är en iterativ process för att lägga till data och etiketter i din träningsdatauppsättning för att lära modellen mer exakt. För att veta vilka typer av data och etiketter som behöver förbättras tillhandahåller Language Studio poängsättning på sidan Visa modellinformation i den vänstra rutan.
Enskilda entiteter och din övergripande modellpoäng är uppdelade i tre mått för att förklara hur de presterar och var de behöver förbättras.
| Mätvärde | Beskrivning |
|---|---|
| Precision | Förhållandet mellan lyckade entitetsigenkänningar och alla försök till igenkänning. En hög poäng innebär att så länge entiteten identifieras är den korrekt märkt. |
| Återkalla | Förhållandet mellan lyckade entitetsigenkänningar och det faktiska antalet entiteter i dokumentet. En hög poäng innebär att den hittar entiteten eller entiteterna väl, oavsett om den tilldelar dem rätt etikett |
| F1-poäng | Kombination av precision och återkallande som ger ett enda bedömningsmått |
Poäng är tillgängliga både per entitet och för modellen som helhet. Du kanske hittar en entitetspoäng bra, men det gör inte hela modellen.
Så här tolkar du mått
Helst vill vi att vår modell ska få bra poäng i både precision och återkallande, vilket innebär att entitetsigenkänningen fungerar bra. Om båda måtten har låg poäng innebär det att modellen både kämpar för att identifiera entiteter i dokumentet och när den extraherar den entiteten tilldelar den inte rätt etikett med hög konfidens.
Om precisionen är låg men träffsäkerhet är hög innebär det att modellen känner igen entiteten väl men inte märker den som rätt entitetstyp.
Om precisionen är hög men träffsäkerheten är låg innebär det att modellen inte alltid känner igen entiteten, men när modellen extraherar entiteten tillämpas rätt etikett.
Förvirringsmatris
På samma sidan Visa modellinformation finns det en annan flik överst för matrisen Förvirring. Den här vyn innehåller en visuell tabell över alla entiteter och hur var och en utfördes, vilket ger en fullständig vy över modellen och var den misslyckas.
Med förvirringsmatrisen kan du visuellt identifiera var du kan lägga till data för att förbättra modellens prestanda.