Anzeigen der Auswertung und Details des Textklassifizierungsmodells

Nachdem das Training Ihres Modells abgeschlossen wurde, können Sie die Modellleistung und die vorhergesagten Klassen für die Dokumente im Testsatz anzeigen.

Hinweis

Die Verwendung der Option Automatically split the testing set from training data (Automatisches Aufteilen des Testsatzes aus den Trainingsdaten) kann bei jedem Trainieren eines neuen Modells zu unterschiedlichen Ergebnissen bei der Modellauswertung führen, da der Testsatz nach dem Zufallsprinzip aus den Daten ausgewählt wird. Um sicherzustellen, dass die Auswertung bei jedem Trainieren eines Modells auf der Grundlage des gleichen Testsatzes erfolgt, verwenden Sie beim Starten eines Trainingsauftrags unbedingt die Option Manuelle Aufteilung von Trainings- und Testdaten verwenden, und definieren Sie beim Bezeichnen von Daten Ihre Testdokumente.

Voraussetzungen

Vor dem Anzeigen der Modellbewertung benötigen Sie Folgendes:

• Ein Projekt für die benutzerdefinierte Textklassifizierung mit einem konfigurierten Azure Blob Storage-Konto
• Textdaten, die in Ihr Speicherkonto hochgeladen wurden.
• Gekennzeichnete Daten
• Ein erfolgreich trainiertes Modell

Weitere Informationen finden Sie unter Lebenszyklus der Projektentwicklung.

Modelldetails

Language Studio

1. Wechseln Sie in Language Studio zu Ihrer Projektseite.

2. Wählen Sie im Menü auf der linken Seite des Bildschirms Modellleistung aus.

3. Auf dieser Seite können Sie nur die erfolgreich trainierten Modelle, den F1-Score aller Modelle und das Modellablaufdatum anzeigen. Sie können den Modellnamen auswählen, um weitere Details zur Leistung anzuzeigen.

Hinweis

Klassen, die im Testsatz weder bezeichnet noch vorhergesagt sind, werden in den Ergebnissen nicht angezeigt.

Übersicht

• Auf dieser Registerkarte können Sie die Details des Modells anzeigen, z. B. F1-Score, Genauigkeit, Rückruf, Datum und Uhrzeit für den Trainingsauftrag, gesamte Trainingszeit und Anzahl von Trainings- und Testdokumenten, die in diesem Trainingsauftrag enthalten sind.

  

• Außerdem werden Ihnen Anleitungen zur Verbesserung des Modells angezeigt. Wenn Sie auf Details anzeigen klicken, wird ein Seitenpanel mit weiteren Anleitungen zur Verbesserung des Modells geöffnet. In diesem Beispiel gibt es im Trainingssatz nicht genügend Daten für diese Klassen. Außerdem wird im Trainingssatz nicht klar genug zwischen Klassentypen unterschieden, und zwei Klassen werden miteinander verwechselt. Durch Klicken auf die verwechselten Klassen werden Sie zur Seite Datenbeschriftung weitergeleitet, um weitere Daten mit der richtigen Klasse zu beschriften.

  

  Weitere Informationen zu Modellanleitungen und zur Konfusionsmatrix finden Sie in den Konzepten zur Modellleistung.

Klassentypleistung

• Dies ist eine Momentaufnahme der Leistung Ihres Modells während der Tests. Die hier gezeigten Metriken sind statisch und an Ihr Modell gebunden, daher werden sie erst aktualisiert, wenn Sie das Modell erneut trainieren.

• Sie können für jede Klasse Genauigkeit, Rückruf, F1-Score, Anzahl von Trainings und Testbeschriftungen anzeigen.

  

Details zum Testsatz

• Hier sehen Sie die Dokumente, die im Testsatz enthalten sind, sowie die Ergebnisklasse für die einzelnen Dokumente. Sie können die Umschaltfläche Nur Nichtübereinstimmungen anzeigen verwenden, um nur Dokumente mit Nichtübereinstimmungen anzuzeigen, oder die Umschaltfläche deaktivieren, um alle Dokumente im Testsatz anzuzeigen.

• Für jedes Dokument können Sie Folgendes anzeigen: beschrifteten Text, die jeweilige beschriftete Klasse und die vorhergesagte Klasse. Außerdem wird angezeigt, ob es sich um einen True Positive, einen False Positive oder einen False Negative handelt.

  

Datasetverteilung

Diese Momentaufnahme zeigt, wie Entitäten über Ihre Trainings- und Testsätze verteilt werden. Diese Daten sind statisch und an Ihr Modell gebunden, sodass sie erst aktualisiert werden, wenn Sie das Modell erneut trainieren.

• Sie können die Datasetverteilung in der Diagramm- oder Tabellenansicht anzeigen.

Diagrammansicht

Dokumente mit mindestens einer Beschriftung: Diese Ansicht zeigt für jede Klasse die Anzahl der Vorkommen in allen Trainings- und Testsätzen an.

Tabellenansicht

Für jede Klasse können Sie Folgendes anzeigen: markierte Dokumente im Trainingssatz, markierte Dokumente im Testsatz und markierte Dokumente insgesamt.

Konfusionsmatrix

Hinweis

Die Konfusionsmatrix ist für Projekte mit mehreren Klassifizierungen nicht verfügbar.

Eine Konfusionsmatrix ist eine n × n-Matrix, die für die Auswertung der Leistung eines Klassifizierungsmodells verwendet wird, wobei „n“ die Anzahl von Zielklassen ist. Die Matrix vergleicht die tatsächlichen Zielwerte mit denen, die vom Machine Learning-Modell vorhergesagt werden, um zu zeigen, wie gut das Extraktionsmodell funktioniert und welche Arten von Fehlern es macht.

Sie können die Konfusionsmatrix in einer normalisierten Ansicht oder in einer Ansicht der Rohdatenanzahl anzeigen.

• Alle Werte: Zeigt die Konfusionsmatrix für alle Klassen an.

• Nur Fehler: Zeigt die Konfusionsmatrix nur für Klassen mit Fehlern an.

• Nur Übereinstimmungen: Zeigt die Konfusionsmatrix nur für Klassen mit korrekten Vorhersagen an.

REST-APIs

Klassifizierung mit einzelnen Bezeichnungen

Übermitteln Sie eine GET-Anforderung mithilfe der folgenden URL, der Header und des JSON-Texts, um eine Zusammenfassung der Auswertung des trainierten Modells zu erhalten.

Anfrage-URL

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Platzhalter	Wert	Beispiel
{ENDPOINT}	Der Endpunkt für die Authentifizierung Ihrer API-Anforderung.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Der Name für Ihr Projekt. Bei diesem Wert wird die Groß-/Kleinschreibung beachtet.	myProject
{trainedModelLabel}	Dies ist der Name Ihres trainierten Modells. Bei diesem Wert wird die Groß-/Kleinschreibung beachtet.	Model1
{API-VERSION}	Die Version der von Ihnen aufgerufenen API. Der hier referenzierte Wert gilt für die neueste veröffentlichte Version. Weitere Informationen zu anderen verfügbaren API-Versionen finden Sie hier.	2022-05-01

Header

Verwenden Sie den folgenden Header, um Ihre Anforderung zu authentifizieren.

Schlüssel	Wert
Ocp-Apim-Subscription-Key	Der Schlüssel für Ihre Ressource. Wird für die Authentifizierung Ihrer API-Anforderungen verwendet.

Antworttext

Nachdem Sie die Anforderung gesendet haben, erhalten Sie die folgende Antwort.

{
  "projectKind": "customSingleLabelClassification",
  "customSingleLabelClassificationEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "classes": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Klassifizierung mit mehreren Bezeichnungen

Übermitteln Sie eine GET-Anforderung mithilfe der folgenden URL, der Header und des JSON-Texts, um eine Zusammenfassung der Auswertung des trainierten Modells zu erhalten.

Anfrage-URL

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Platzhalter	Wert	Beispiel
{ENDPOINT}	Der Endpunkt für die Authentifizierung Ihrer API-Anforderung.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Der Name für Ihr Projekt. Bei diesem Wert wird die Groß-/Kleinschreibung beachtet.	myProject
{trainedModelLabel}	Dies ist der Name Ihres trainierten Modells. Bei diesem Wert wird die Groß-/Kleinschreibung beachtet.	Model1
{API-VERSION}	Die Version der von Ihnen aufgerufenen API. Der hier referenzierte Wert gilt für die neueste veröffentlichte Version. Weitere Informationen zu anderen verfügbaren API-Versionen finden Sie hier.	2022-05-01

Header

Verwenden Sie den folgenden Header, um Ihre Anforderung zu authentifizieren.

Schlüssel	Wert
Ocp-Apim-Subscription-Key	Der Schlüssel für Ihre Ressource. Wird für die Authentifizierung Ihrer API-Anforderungen verwendet.

Antworttext

Nachdem Sie die Anforderung gesendet haben, erhalten Sie die folgende Antwort.

{
  "projectKind": "customMultiLabelClassification",
  "customMultiLabelClassificationEvaluation": {
    "classes": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Laden oder Exportieren von Modelldaten

Language Studio

So laden Sie Modelldaten:

1. Wählen Sie ein beliebiges Modell auf der Seite der Modellauswertung aus.

2. Wählen Sie die Schaltfläche Modelldaten laden aus.

3. Vergewissern Sie sich, dass Sie keine ungespeicherten Änderungen haben, die Sie in dem nun erscheinenden Fenster erfassen müssen, und wählen Sie Daten laden.

4. Warten Sie, bis die Modelldaten wieder in Ihr Projekt geladen sind. Nach Abschluss werden Sie zurück zur Seite Schema-Entwurf geleitet.

So exportieren Sie Modelldaten:

1. Wählen Sie ein beliebiges Modell auf der Seite der Modellauswertung aus.

2. Wählen Sie die Schaltfläche Modelldaten exportieren aus. Warten Sie, bis die JSON-Momentaufnahme Ihres Modells lokal heruntergeladen wird.

REST-APIs

Laden von Modelldaten

Erstellen Sie eine POST-Anforderung mithilfe der folgenden Angaben für URL, Header und JSON-Text, um die Modelldaten in Ihr Projekt zu laden.

Anfrage-URL

Verwenden Sie zum Erstellen Ihrer API-Anforderung die folgende URL. Ersetzen Sie die folgenden Platzhalter durch Ihre eigenen Werte.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}

Platzhalter	Wert	Beispiel
{ENDPOINT}	Der Endpunkt für die Authentifizierung Ihrer API-Anforderung.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Der Name für Ihr Projekt. Bei diesem Wert wird die Groß-/Kleinschreibung beachtet.	EmailApp
{API-VERSION}	Die Version der von Ihnen aufgerufenen API.	2022-10-01-preview
{MODEL-NAME}	Der Name Ihres Modells. Bei diesem Wert wird die Groß-/Kleinschreibung beachtet.	v1

Header

Verwenden Sie den folgenden Header, um Ihre Anforderung zu authentifizieren.

Schlüssel	Wert
Ocp-Apim-Subscription-Key	Der Schlüssel für Ihre Ressource. Wird für die Authentifizierung Ihrer API-Anforderungen verwendet.

Nachdem Sie Ihre API-Anforderung gesendet haben, erhalten Sie eine 202-Antwort, die angibt, dass sie erfolgreich war. Extrahieren Sie in den Antwortheadern den operation-location-Wert. Er weist das folgende Format auf:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID wird verwendet, um Ihre Anforderung zu identifizieren, da es sich um einen asynchronen Vorgang handelt. Verwenden Sie diese URL, um den Status des Ladens Ihrer Modelldaten abzufragen, und verwenden Sie dabei dieselbe Authentifizierungsmethode.

Exportieren von Modelldaten

Erstellen Sie eine POST-Anforderung mithilfe der folgenden Angaben für URL, Header und JSON-Text, um Ihre Modelldaten zu exportieren.

Anfrage-URL

Verwenden Sie zum Erstellen Ihrer API-Anforderung die folgende URL. Ersetzen Sie die folgenden Platzhalter durch Ihre eigenen Werte.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}

Platzhalter	Wert	Beispiel
{ENDPOINT}	Der Endpunkt für die Authentifizierung Ihrer API-Anforderung.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Der Name für Ihr Projekt. Bei diesem Wert wird die Groß-/Kleinschreibung beachtet.	EmailApp
{API-VERSION}	Die Version der von Ihnen aufgerufenen API.	2022-10-01-preview
{MODEL-NAME}	Der Name Ihres Modells. Bei diesem Wert wird die Groß-/Kleinschreibung beachtet.	v1

Header

Verwenden Sie den folgenden Header, um Ihre Anforderung zu authentifizieren.

Schlüssel	Wert
Ocp-Apim-Subscription-Key	Der Schlüssel für Ihre Ressource. Wird für die Authentifizierung Ihrer API-Anforderungen verwendet.

Nachdem Sie Ihre API-Anforderung gesendet haben, erhalten Sie eine 202-Antwort, die angibt, dass sie erfolgreich war. Extrahieren Sie in den Antwortheadern den operation-location-Wert. Er weist das folgende Format auf:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID wird verwendet, um Ihre Anforderung zu identifizieren, da es sich um einen asynchronen Vorgang handelt. Verwenden Sie diese URL, um den exportierten JSON-Projektcode mit derselben Authentifizierungsmethode abzurufen.

Löschen des Modells

Language Studio

So löschen Sie Ihr Modell über Language Studio:

1. Wählen Sie im linken Menü Modellleistung aus.

2. Wählen Sie den Modellnamen aus, den Sie löschen möchten, und wählen Sie dann im oberen Menü die Option Löschen aus.

3. Wählen Sie im angezeigten Fenster OK aus, um das Modell zu löschen.

REST-APIs

Erstellen Sie eine DELETE-Anforderung mithilfe der folgenden URL, der Header und des JSON-Texts, um ein trainiertes Modell zu löschen.

Anfrage-URL

{Endpoint}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}?api-version={API-VERSION}

Platzhalter	Wert	Beispiel
{ENDPOINT}	Der Endpunkt für die Authentifizierung Ihrer API-Anforderung.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Der Name für Ihr Projekt. Bei diesem Wert wird die Groß-/Kleinschreibung beachtet.	myProject
{trainedModelLabel}	Dies ist der Name Ihres Modells. Bei diesem Wert wird die Groß-/Kleinschreibung beachtet.	model1
{API-VERSION}	Die Version der von Ihnen aufgerufenen API. Der hier referenzierte Wert gilt für die neueste veröffentlichte Version. Weitere Informationen zu anderen verfügbaren API-Versionen finden Sie hier.	2022-05-01

Header

Verwenden Sie den folgenden Header, um Ihre Anforderung zu authentifizieren.

Schlüssel	Wert
Ocp-Apim-Subscription-Key	Der Schlüssel für Ihre Ressource. Wird für die Authentifizierung Ihrer API-Anforderungen verwendet.

Nachdem Sie Ihre API-Anforderung gesendet haben, erhalten Sie eine Antwort vom Typ 204, die angibt, dass Ihr trainiertes Modell erfolgreich gelöscht wurde.

Nächste Schritte

Wenn Sie die Leistung Ihres Modells überprüfen, sollten Sie sich über die zugrunde liegenden Auswertungsmetriken informieren. Sobald Sie wissen, ob die Leistung Ihres Modells verbessert werden muss, können Sie mit der Verbesserung des Modells beginnen.