Testen des Modells
Nachdem Ihr Modell erfolgreich trainiert wurde, können Sie die Qualität Ihres Modells anhand von Übersetzungen bewerten. Damit Sie eine fundierte Entscheidung darüber treffen können, ob Sie unser Standardmodell oder Ihr benutzerdefiniertes Modell verwenden möchten, sollten Sie das Delta zwischen der BLEU-Bewertung Ihres benutzerdefinierten Modell und der Baseline-BLEU unseres Standardmodells auswerten. Wenn Ihr Modelle innerhalb einer eng gefassten Domäne trainiert wird und Ihre Trainingsdaten mit den Testdaten übereinstimmen, können Sie eine hohe BLEU-Bewertung erwarten.
BLEU-Bewertung
BLEU (Bilingual Evaluation Understudy) ist ein Algorithmus zur Bewertung der Genauigkeit von Text, der maschinell von einer Sprache in eine andere übersetzt wurde. Der benutzerdefinierte Translator verwendet die BLEU-Metrik als eine Möglichkeit, die Übersetzungsgenauigkeit darzustellen.
Eine BLEU-Bewertung ist eine Zahl zwischen 0 und 100. Eine Bewertung von 0 (null) gibt eine Übersetzung von geringer Qualität an, bei der nichts in der Übersetzung mit der Referenz übereinstimmt. Eine Bewertung von 100 gibt eine perfekte Übersetzung an, die mit der Referenz identisch ist. Es ist nicht erforderlich, eine Bewertung von 100 zu erreichen. Eine BLEU-Bewertung zwischen 40 und 60 deutet auf eine qualitativ hochwertige Übersetzung hin.
Modelldetails
Wählen Sie das Blatt Modelldetails aus.
Wählen Sie den Modellnamen aus. Überprüfen Sie Datum/Uhrzeit des Trainings, Gesamttrainingszeit und die Anzahl der Sätze, die für Training, Optimierung, Tests und Wörterbuch verwendet werden. Überprüfen Sie, ob das System die Test- und Optimierungssätze generiert hat. Verwenden Sie die Kategorie-ID (
Category ID), um Übersetzungsanforderungen zu stellen.Bestimmen Sie die BLEU-Bewertung des Modells. Überprüfen der Testmenge: Bei der BLEU-Bewertung handelt es sich um die Bewertung des benutzerdefinierten Modells, und die Baseline-BLEU ist das vorab trainierte Baselinemodell, das zum Anpassen verwendet wurde. Eine höhere BLEU-Bewertung bedeutet, dass beim Verwenden des benutzerdefinierten Modells eine hohe Übersetzungsqualität erzielt wird.
Testen der Qualität der Modellübersetzung
Wählen Sie das Blatt Modell testen aus.
Wählen Sie den Namen des Modells aus.
Unterziehen Sie die Übersetzung aus Benutzerdefiniertes Modell und Baselinemodell (unserer vorab trainierten Baseline für die Anpassung) einer Überprüfung durch Menschen, wobei mit Referenz (der Zielübersetzung aus dem Testsatz) verglichen wird.
Wenn die Trainingsergebnisse zufriedenstellend sind, fordern Sie die Bereitstellung des trainierten Modells an.