Referenz zur Vorhersagecodierung (Vorschau)
Tipp
eDiscovery (Vorschauversion) ist jetzt im neuen Microsoft Purview-Portal verfügbar. Weitere Informationen zur Verwendung der neuen eDiscovery-Benutzeroberfläche finden Sie unter Informationen zu eDiscovery (Vorschauversion).
Wichtig
Predictive Coding wurde zum 31. März 2024 eingestellt und ist in neuen eDiscovery-Fällen nicht verfügbar. Für vorhandene Fälle mit trainierten Vorhersagecodierungsmodellen können Sie weiterhin vorhandene Bewertungsfilter auf Prüfsätze anwenden. Sie können jedoch keine neuen Modelle erstellen oder trainieren.
In diesem Artikel werden die wichtigsten Konzepte und Metriken des Vorhersagecodierungstools in Microsoft Purview-eDiscovery (Premium) beschrieben. Die Abschnitte des Artikels sind in alphabetischer Reihenfolge aufgeführt.
Tipp
Wenn Sie kein E5-Kunde sind, verwenden Sie die 90-tägige Testversion von Microsoft Purview-Lösungen, um zu erfahren, wie zusätzliche Purview-Funktionen Ihre Organisation bei der Verwaltung von Datensicherheits- und Complianceanforderungen unterstützen können. Beginnen Sie jetzt im Microsoft Purview-Testversionshub. Erfahren Sie mehr über Anmelde- und Testbedingungen.
Zuverlässigkeitsstufe
Die Zuverlässigkeitsstufe ist eine erweiterte Einstellung, wenn Sie ein Vorhersagecodierungsmodell erstellen. Es definiert, dass die Leistungsmetriken des Modells (z. B. Richness, Precision und Recall) innerhalb eines angegebenen Bereichs liegen (der den für das Modell definierten Fehlerbereich bestimmt), der repräsentativ für die wahren Werte der Vorhersagebewertungen ist, die das Modell Elementen im Überprüfungssatz zuweist. Die Werte für das Konfidenzniveau und den Fehlerrand helfen auch dabei, zu bestimmen, wie viele Elemente im Steuerelementsatz enthalten sind. Der Standardwert für das Konfidenzniveau beträgt 0,95 % oder 95 %.
Kontrollsatz
Ein Steuersatz wird während des Trainingsprozesses eines Vorhersagecodierungsmodells verwendet. Das Steuerelement dient zum Auswerten der Vorhersageergebnisse, die das Modell Elementen mit der Bezeichnung zuweist, die Sie während der Trainingsrunden ausführen. Die Größe des Steuerelementsatzes basiert auf der Anzahl der Elemente im Prüfsatz und dem Konfidenzniveau und dem Rand der Fehlerwerte, die beim Erstellen des Modells festgelegt werden. Elemente im Steuerelementsatz ändern sich nie und sind für Benutzer nicht identifizierbar. Die Gesamtanzahl der Elemente im Steuerelementsatz wird auf der Flyoutseite für eine Trainingsrunde angezeigt.
Kontrollsatz-Konfusionsmatrix
Nachdem Sie eine Trainingsrunde abgeschlossen haben, weist das Modell den 10 Elementen im Steuerelementsatz, die Sie während der Trainingsrunde bezeichnet haben, eine Vorhersagebewertung zu. Das Modell vergleicht die Vorhersagebewertung dieser 10 Elemente mit der tatsächlichen Bezeichnung, die Sie dem Element während der Trainingsrunde zugewiesen haben. Basierend auf diesem Vergleich identifiziert das Modell die folgenden Klassifizierungen, um die Vorhersageleistung des Modells zu bewerten:
| Label | Das Modell sagt voraus, dass das Element relevant ist | Das Modell sagt voraus, dass das Element nicht relevant ist |
|---|---|---|
| Prüfer bezeichnet element als relevant | Wahr positiv | Falsch positiv |
| Prüfer bezeichnet Element als nicht relevant | Falsch negativ | Richtig negativ |
Basierend auf diesen Vergleichen leitet das Modell Werte für die F-Bewertung, Genauigkeit und Abrufmetriken sowie die Fehlerspanne für jede ab. Die Anzahl der einzelnen Konfusionstypen aus der Matrix wird auf der Flyoutseite für eine Trainingsrunde angezeigt.
F-Bewertung
Die F-Bewertung ist ein gewichteter Durchschnitt der Bewertungen für die Genauigkeits- und Abrufmetriken. Der Bereich der Bewertungen für diese Metrik liegt zwischen 0 und 1. Eine Bewertung, die näher an 1 ist, gibt an, dass das Modell relevante Elemente genauer erkennt. Die F-Score-Metrik wird auf dem Modell Dashboard und auf der Flyoutseite für jede Trainingsrunde angezeigt.
Fehlerrand
Der Fehlerrand ist eine erweiterte Einstellung, wenn Sie einen Vorhersagecodierungsmodus erstellen. Sie gibt den Fehlergrad in Leistungsmetriken (z. B. Richness, Precision und Recall) an, der aus der zufälligen Stichprobenentnahme von Elementen in Ihrem Kontrollsatz abgeleitet wird. Ein niedrigerer Fehlerrand erfordert einen größeren Kontrollsatz, um sicherzustellen, dass die Leistungsmetriken des Modells in einen kleineren Bereich fallen. Die Werte für den Fehlerrand und das Konfidenzniveau helfen auch dabei, zu bestimmen, wie viele Elemente im Steuerelementsatz enthalten sind. Der Standardwert für den Fehlerrand beträgt 0,05 % oder 5 %.
Modellstabilität
Die Modellstabilität gibt die Fähigkeit des Modells an, genau vorherzusagen, ob ein Dokument in einem Überprüfungssatz relevant oder nicht relevant ist. Wenn ein Modell instabil ist, müssen möglicherweise mehr Trainingsrunden durchgeführt werden, um die Stabilität des Modells einzuschließen. Wenn das Modell stabil ist, müssen möglicherweise keine trainingsrunden mehr durchgeführt werden. Das Modell Dashboard gibt den aktuellen Zustand der Stabilität des Modells an. Wenn ein Modell stabil ist, haben die Leistungsmetriken eine Ebene erreicht, die den Einstellungen für das Konfidenzniveau und die Fehlerspanne entspricht.
Überschreitungsrate
Die Überschreitungsrate ist der Prozentsatz der Elemente im Überprüfungssatz, in dem sich die Vorhersagebewertung zwischen den Trainingsrunden geändert hat. Ein Modell gilt als stabil, wenn die Überschreitungsrate unter 5 % liegt. Die Metrik für die Überschreitungsrate wird für jede Trainingsrunde auf dem modellbasierten Dashboard und auf der Flyoutseite angezeigt. Die Überschreitungsrate für die erste Trainingsrunde ist 0 (null), da keine vorherige Vorhersagebewertung zum Kippen vorhanden ist.
Präzision
Die Genauigkeitsmetrik misst den Anteil der Elemente, die unter den Vom Modell vorhergesagten Elementen relevant sind. Dies bedeutet, dass Elemente im Steuerelementsatz, die vom Prüfer als relevant gekennzeichnet und vom Modell als relevant vorhergesagt werden. Der Bereich der Bewertungen für diese Metrik liegt zwischen 0 und 1. Eine Bewertung, die näher an 1 ist, gibt an, dass das Modell weniger nicht relevante Elemente identifiziert. Die Genauigkeitsmetrik wird im Modell Dashboard und auf der Flyoutseite für jede Trainingsrunde angezeigt.
Vorhersageergebnis
Dies ist die Bewertung, die ein Modell jedem Dokument in einem Überprüfungssatz zuweist. Die Bewertung basiert auf der Relevanz des Dokuments im Vergleich zum Lernen des Modells aus den Trainingsrunden. Im Allgemeinen werden Elemente mit Vorhersageergebnissen zwischen 0 und 0,5 als nicht relevant betrachtet, und Elemente mit Vorhersagebewertungen zwischen 0,5 und 1 werden als relevant betrachtet. Die Vorhersagebewertung ist in einem Dokumentmetadatenfeld enthalten. Sie können einen Vorhersagefilter verwenden, um die Elemente in einem Überprüfungssatz anzuzeigen, die innerhalb eines angegebenen Vorhersagebereichs liegen.
Recall
Die Rückrufmetrik misst den Anteil der Elemente, die das Modell vorhergesagt hat, unter den relevanten Elementen. Dies bedeutet, dass relevante Elemente im Steuerelementsatz, die das Modell vorhergesagt hat, auch vom Prüfer als relevant gekennzeichnet wurden. Der Bereich der Bewertungen für diese Metrik liegt zwischen 0 und 1. Eine Bewertung, die näher an 1 ist, gibt an, dass das Modell einen größeren Teil der relevanten Elemente identifiziert. Die Abrufmetrik wird für jede Trainingsrunde auf dem Modell Dashboard und auf der Flyoutseite angezeigt.
Prüfdateisatz
Ein Überprüfungssatz stellt den Bereich eines Vorhersagecodierungsmodells bereit. Wenn Sie ein neues Modell für den Überprüfungssatz erstellen, werden Elemente für den Steuerelementsatz und Trainingssätze aus dem Überprüfungssatz ausgewählt. Wenn das Modell Vorhersagebewertungen zuweist, weist es diesen Bewertungen die Elemente in der Überprüfung zu. Sie müssen dem Überprüfungssatz alle Elemente hinzufügen, bevor Sie ein Vorhersagecodierungsmodell erstellen. Wenn Sie elemente hinzufügen, nachdem Sie ein Modell erstellt haben, wird diesen Elementen kein Vorhersageergebnis zugewiesen.
Reichtum
Die Richness-Metrik misst den Prozentsatz der Überprüfungssatzelemente, die das Modell als relevant vorhersagt. Der Bereich der Bewertungen für diese Metrik liegt zwischen 0 und 1. Die Metrik "Richness" wird im Modell Dashboard angezeigt.
Stichprobenelemente
Der Begriff stichprobenierte Elemente ist ein Verweis auf eine zufällige Stichprobe von Elementen in einem Prüfsatz (der Text enthält), die ausgewählt und dem Steuerelementsatz zugeordnet werden, wenn Sie ein Vorhersagecodierungsmodell erstellen. Für jede Trainingsrunde wird auch eine zufällige Stichprobe von Elementen ausgewählt. Elemente, die für den Steuersatz eines Modells ausgewählt wurden, sind nie in einem Trainingssatz für dasselbe Modell enthalten. Umgekehrt gilt auch: Trainingssatzelemente sind niemals im Kontrollsatz enthalten.
Trainingssatz
Das Modell wählt nach dem Zufallsprinzip Elemente aus dem Überprüfungssatz aus und fügt sie einem Trainingssatz hinzu. Während einer Trainingsrunde werden Ihnen Elemente aus dem Trainingssatz (zusätzlich zu Elementen aus dem Kontrollsatz) angezeigt, sodass Sie jede als "relevant" oder "nicht relevant" bezeichnen können. Dieser Bezeichnungs- oder "Trainingsvorgang" hilft dem Modell, vorherzusagen, welche Elemente in der Überprüfung relevant oder nicht relevant sind. Jedes Mal, wenn Sie eine Trainingsrunde durchführen, wählt das Modell weitere Elemente aus der Überprüfung aus und fügt sie dem Trainingssatz für diese Trainingsrunde hinzu. Elemente aus dem Steuerelementsatz werden nie für einen Trainingssatz ausgewählt.