Trainieren und Auswerten Ihres Modells
Das Training und die Auswertung Ihres Modells sind iterative Prozesse, bei denen Sie Ihrem Dataset für das Training Daten und Tags hinzufügen, um das Modell genauer zu trainieren. Um zu wissen, welche Arten von Daten und Tags verbessert werden müssen, bietet Language Studio auf der Seite Modelldetails anzeigen im linken Bereich eine Bewertung an.
Einzelne Entitäten und Ihre Gesamtmodellbewertung werden in drei Metriken aufgeschlüsselt, um zu erläutern, wie sie ihre Leistung erbringen und wo sie sich verbessern müssen.
| Metric | Beschreibung des Dataflows |
|---|---|
| Genauigkeit | Das Verhältnis der erfolgreichen Erkennungen von Entitäten zu allen versuchten Erkennungen. Ein hoher Score bedeutet, dass die Entität, solange sie erkannt wird, ordnungsgemäß bezeichnet ist. |
| Recall | Das Verhältnis der erfolgreichen Erkennung von Entitäten zur tatsächlichen Anzahl der Entitäten im Dokument. Ein hoher Score bedeutet, dass die Entitäten einfach gefunden werden, unabhängig davon, ob sie richtig bezeichnet sind. |
| F1-Score | Kombination aus Genauigkeit und Abruf in einer einzelnen Bewertungsmetrik |
Die Scores sind sowohl pro Entität als auch für das Modell als Ganzes verfügbar. Es kann sein, dass eine Entität einen guten Score erreicht, dies aber nicht für das gesamte Modell gilt.
Interpretieren von Metriken
Im Idealfall möchten wir, dass unser Modell sowohl bei der Genauigkeit als auch beim Abruf gute Leistungen erbringt, was bedeutet, dass die Erkennung von Entitäten gut funktioniert. Wenn beide Metriken einen niedrigen Score aufweisen, bedeutet dies, dass das Modell Schwierigkeiten hat, Entitäten im Dokument zu erkennen, und wenn es die Entität extrahiert, ordnet es ihr nicht mit hoher Konfidenz die richtige Bezeichnung zu.
Wenn die Genauigkeit niedrig, der Abruf aber hoch ist, bedeutet dies, dass das Modell die Entität zwar gut erkennt, sie aber nicht als den richtigen Entitätstyp bezeichnet.
Wenn die Genauigkeit hoch, der Abruf aber niedrig ist, bedeutet dies, dass das Modell die Entität nicht immer erkennt, aber wenn das Modell die Entität extrahiert, wird die richtige Bezeichnung verwendet.
Konfusionsmatrix
Auf derselben Seite für Modelldetails anzeigen gibt es oben eine weitere Registerkarte für die Konfusionsmatrix. Diese Sicht bietet eine visuelle Tabelle mit allen Entitäten und deren Leistung, sodass Sie eine vollständige Übersicht über das Modell und seine Schwachstellen erhalten.
Mit der Konfusionsmatrix können Sie visuell erkennen, wo Sie Daten hinzufügen müssen, um die Leistung Ihres Modells zu verbessern.