Text Analysis Authoring - Get Model Evaluation Summary

Referenz

Dienst:: Azure AI Services

API-Version:: 2022-05-01

Ruft die Auswertungszusammenfassung eines trainierten Modells ab. Die Zusammenfassung enthält Leistungsmessungen auf hoher Ebene des Modells, z. B. F1, Precision, Rückruf usw.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2022-05-01

URI-Parameter

Name	In	Erforderlich	Typ	Beschreibung
Endpoint	path	True	string	Unterstützter Cognitive Services-Endpunkt (z. B. https://.api.cognitiveservices.azure.com).
projectName	path	True	string maxLength: 100	Der Name des zu verwendenden Projekts.
trainedModelLabel	path	True	string	Das trainierte Modelletikett.
api-version	query	True	string	Client-API-Version.

Anforderungsheader

Name	Erforderlich	Typ	Beschreibung
Ocp-Apim-Subscription-Key	True	string	Ein Abonnementschlüssel für eine Sprachdienstressource.

Antworten

Name	Typ	Beschreibung
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Liste aller Auswertungsergebnisse.
Other Status Codes	ErrorResponse	Fehlerantwort.

Sicherheit

Ocp-Apim-Subscription-Key

Ein Abonnementschlüssel für eine Sprachdienstressource.

Typ: apiKey
In: header

Beispiele

Successful Get Model Evaluation Summary

Beispielanforderung

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2022-05-01

Beispiel für eine Antwort

Statuscode:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definitionen

Name	Beschreibung
Error	Das Fehlerobjekt.
ErrorCode	Lesbarer Fehlercode.
ErrorResponse	Fehlerantwort.
EvaluationKind	Stellt die Auswertungsart dar. Standardmäßig ist die Auswertungsart auf Prozent festgelegt.
InnerErrorCode	Lesbarer Fehlercode.
InnerErrorModel	Ein Objekt, das spezifischere Informationen zum Fehler enthält. Gemäß den Microsoft One-API-Richtlinien – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind	Die Projektart.
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Entitätserkennungsprojekt dar.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Multibezeichnungsklassifizierungsprojekt dar.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Einzelbezeichnungsklassifizierungsprojekt dar.
TextAnalysisAuthoringEntityEvaluationSummary	Stellt die Auswertungszusammenfassung für eine Entität dar.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Entitätserkennungsprojekt dar.
TextAnalysisAuthoringEvaluationOptions	Stellt die Optionen dar, die beim Ausführen der Auswertung verwendet werden.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	Stellt die Auswertungszusammenfassung einer Klasse in einem Mehrbezeichnungsklassifizierungsprojekt dar.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Stellt die Auswertungszusammenfassung für ein Mehrbezeichnungsklassifizierungsprojekt dar.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	Stellt die Auswertungszusammenfassung für eine Klasse in einem Einzelbezeichnungsklassifizierungsprojekt dar.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Einzelbezeichnungsklassifizierungsprojekt dar.

Error

Objekt

Das Fehlerobjekt.

Name	Typ	Beschreibung
code	ErrorCode	Eine serverdefinierte Gruppe von Fehlercodes.
details	Error[]	Ein Array von Details zu bestimmten Fehlern, die zu diesem gemeldeten Fehler geführt haben.
innererror	InnerErrorModel	Ein Objekt, das spezifischere Informationen enthält als das aktuelle Objekt über den Fehler.
message	string	Eine lesbare Darstellung des Fehlers.
target	string	Das Ziel des Fehlers.

ErrorCode

Enumeration

Lesbarer Fehlercode.

Wert	Beschreibung
AzureCognitiveSearchIndexLimitReached
AzureCognitiveSearchIndexNotFound
AzureCognitiveSearchNotFound
AzureCognitiveSearchThrottling
Conflict
Forbidden
InternalServerError
InvalidArgument
InvalidRequest
NotFound
OperationNotFound
ProjectNotFound
QuotaExceeded
ServiceUnavailable
Timeout
TooManyRequests
Unauthorized
Warning

ErrorResponse

Objekt

Fehlerantwort.

Name	Typ	Beschreibung
error	Error	Das Fehlerobjekt.

EvaluationKind

Enumeration

Stellt die Auswertungsart dar. Standardmäßig ist die Auswertungsart auf Prozent festgelegt.

Wert	Beschreibung
manual	Teilen Sie die Daten nach dem ausgewählten Dataset für jedes Beispiel in den Daten.
percentage	Teilen Sie die Daten in Schulungs- und Testsätze gemäß benutzerdefinierten Prozentsätzen auf.

InnerErrorCode

Enumeration

Lesbarer Fehlercode.

Wert	Beschreibung
AzureCognitiveSearchNotFound
AzureCognitiveSearchThrottling
EmptyRequest
ExtractionFailure
InvalidCountryHint
InvalidDocument
InvalidDocumentBatch
InvalidParameterValue
InvalidRequest
InvalidRequestBodyFormat
KnowledgeBaseNotFound
MissingInputDocuments
ModelVersionIncorrect
UnsupportedLanguageCode

InnerErrorModel

Objekt

Ein Objekt, das spezifischere Informationen zum Fehler enthält. Gemäß den Microsoft One-API-Richtlinien – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Name	Typ	Beschreibung
code	InnerErrorCode	Eine serverdefinierte Gruppe von Fehlercodes.
details	object	Fehlerdetails.
innererror	InnerErrorModel	Ein Objekt, das spezifischere Informationen enthält als das aktuelle Objekt über den Fehler.
message	string	Fehlermeldung.
target	string	Fehlerziel.

ProjectKind

Enumeration

Die Projektart.

Wert	Beschreibung
CustomEntityRecognition	Um ein Extraktionsmodell zu erstellen, um Ihre Domänenkategorien mithilfe Ihrer eigenen Daten zu identifizieren.
CustomMultiLabelClassification	Zum Erstellen eines Klassifizierungsmodells zum Klassifizieren von Text mithilfe ihrer eigenen Daten. Jede Datei kann über eine oder mehrere Bezeichnungen verfügen. Beispielsweise wird Datei 1 als A, B und C klassifiziert und Datei 2 als B und C klassifiziert.
CustomSingleLabelClassification	Zum Erstellen eines Klassifizierungsmodells zum Klassifizieren von Text mithilfe ihrer eigenen Daten. Jede Datei hat nur eine Bezeichnung. Die Datei 1 wird beispielsweise als A klassifiziert, und Datei 2 wird als B klassifiziert.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Objekt

Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Entitätserkennungsprojekt dar.

Name	Typ	Beschreibung
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Enthält die Daten im Zusammenhang mit der Extraktionsauswertung.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Stellt die Optionen dar, die beim Ausführen der Auswertung verwendet werden.
projectKind	string: CustomEntityRecognition	Stellt den Projekttyp dar, für den die Auswertung ausgeführt wurde.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Objekt

Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Multibezeichnungsklassifizierungsprojekt dar.

Name	Typ	Beschreibung
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Enthält die Daten im Zusammenhang mit der Bewertung der Klassifizierung mit mehreren Bezeichnungen.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Stellt die Optionen dar, die beim Ausführen der Auswertung verwendet werden.
projectKind	string: CustomMultiLabelClassification	Stellt den Projekttyp dar, für den die Auswertung ausgeführt wurde.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Objekt

Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Einzelbezeichnungsklassifizierungsprojekt dar.

Name	Typ	Beschreibung
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Enthält die Daten im Zusammenhang mit der Bewertung der Klassifizierung einzelner Bezeichnungen.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Stellt die Optionen dar, die beim Ausführen der Auswertung verwendet werden.
projectKind	string: CustomSingleLabelClassification	Stellt den Projekttyp dar, für den die Auswertung ausgeführt wurde.

TextAnalysisAuthoringEntityEvaluationSummary

Objekt

Stellt die Auswertungszusammenfassung für eine Entität dar.

Name	Typ	Beschreibung
f1	number (double)	Stellt die Modellgenauigkeit dar.
falseNegativeCount	integer (int32)	Stellt die Anzahl falsch negativer Werte dar.
falsePositiveCount	integer (int32)	Stellt die Anzahl falsch positiver Ergebnisse dar.
precision	number (double)	Stellt den Rückruf des Modells dar.
recall	number (double)	Stellt die F1-Modellbewertung dar.
trueNegativeCount	integer (int32)	Stellt die Anzahl der wahr negativen Werte dar.
truePositiveCount	integer (int32)	Stellt die Anzahl wahr positiver Ergebnisse dar.

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

Objekt

Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Entitätserkennungsprojekt dar.

Name	Typ	Beschreibung
confusionMatrix	object	Stellt die Verwirrungsmatrix zwischen zwei Entitäten dar (die beiden Entitäten können identisch sein). Die Matrix liegt zwischen der Entität, die beschriftet wurde, und der Entität, die vorhergesagt wurde.
entities	<string, TextAnalysisAuthoringEntityEvaluationSummary>	Stellt die Entitätenauswertung dar.
macroF1	number (float)	Stellt das Makro F1 dar.
macroPrecision	number (float)	Stellt die Makrogenauigkeit dar.
macroRecall	number (float)	Stellt den Makrorückruf dar.
microF1	number (float)	Stellt das Mikro-F1 dar.
microPrecision	number (float)	Stellt die Mikrogenauigkeit dar.
microRecall	number (float)	Stellt den Mikrorückruf dar.

TextAnalysisAuthoringEvaluationOptions

Objekt

Stellt die Optionen dar, die beim Ausführen der Auswertung verwendet werden.

Name	Typ	Beschreibung
kind	EvaluationKind	Stellt die Auswertungsart dar. Standardmäßig ist die Auswertungsart auf Prozent festgelegt.
testingSplitPercentage	integer (int32)	Stellt den geteilten Prozentsatz des Testdatensatzes dar. Wird nur benötigt, wenn der Auswertungstyp prozentual ist.
trainingSplitPercentage	integer (int32)	Stellt den geteilten Prozentsatz des Schulungsdatensatzes dar. Wird nur benötigt, wenn der Auswertungstyp prozentual ist.

TextAnalysisAuthoringMultiLabelClassEvaluationSummary

Objekt

Stellt die Auswertungszusammenfassung einer Klasse in einem Mehrbezeichnungsklassifizierungsprojekt dar.

Name	Typ	Beschreibung
f1	number (double)	Stellt die Modellgenauigkeit dar.
falseNegativeCount	integer (int32)	Stellt die Anzahl falsch negativer Werte dar.
falsePositiveCount	integer (int32)	Stellt die Anzahl falsch positiver Ergebnisse dar.
precision	number (double)	Stellt den Rückruf des Modells dar.
recall	number (double)	Stellt die F1-Modellbewertung dar.
trueNegativeCount	integer (int32)	Stellt die Anzahl der wahr negativen Werte dar.
truePositiveCount	integer (int32)	Stellt die Anzahl wahr positiver Ergebnisse dar.

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

Objekt

Stellt die Auswertungszusammenfassung für ein Mehrbezeichnungsklassifizierungsprojekt dar.

Name	Typ	Beschreibung
classes	<string, TextAnalysisAuthoringMultiLabelClassEvaluationSummary>	Stellt die Klassenauswertung dar.
macroF1	number (float)	Stellt das Makro F1 dar.
macroPrecision	number (float)	Stellt die Makrogenauigkeit dar.
macroRecall	number (float)	Stellt den Makrorückruf dar.
microF1	number (float)	Stellt das Mikro-F1 dar.
microPrecision	number (float)	Stellt die Mikrogenauigkeit dar.
microRecall	number (float)	Stellt den Mikrorückruf dar.

TextAnalysisAuthoringSingleLabelClassEvaluationSummary

Objekt

Stellt die Auswertungszusammenfassung für eine Klasse in einem Einzelbezeichnungsklassifizierungsprojekt dar.

Name	Typ	Beschreibung
f1	number (double)	Stellt die Modellgenauigkeit dar.
falseNegativeCount	integer (int32)	Stellt die Anzahl falsch negativer Werte dar.
falsePositiveCount	integer (int32)	Stellt die Anzahl falsch positiver Ergebnisse dar.
precision	number (double)	Stellt den Rückruf des Modells dar.
recall	number (double)	Stellt die F1-Modellbewertung dar.
trueNegativeCount	integer (int32)	Stellt die Anzahl der wahr negativen Werte dar.
truePositiveCount	integer (int32)	Stellt die Anzahl wahr positiver Ergebnisse dar.

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

Objekt

Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Einzelbezeichnungsklassifizierungsprojekt dar.

Name	Typ	Beschreibung
classes	<string, TextAnalysisAuthoringSingleLabelClassEvaluationSummary>	Stellt die Klassenauswertung dar.
confusionMatrix	object	Stellt die Verwirrungsmatrix zwischen zwei Klassen dar (die beiden Klassen können identisch sein). Die Matrix liegt zwischen der Klasse, die beschriftet wurde, und der Klasse, die vorhergesagt wurde.
macroF1	number (float)	Stellt das Makro F1 dar.
macroPrecision	number (float)	Stellt die Makrogenauigkeit dar.
macroRecall	number (float)	Stellt den Makrorückruf dar.
microF1	number (float)	Stellt das Mikro-F1 dar.
microPrecision	number (float)	Stellt die Mikrogenauigkeit dar.
microRecall	number (float)	Stellt den Mikrorückruf dar.

Freigeben über

Text Analysis Authoring - Get Model Evaluation Summary

URI-Parameter

Anforderungsheader

Antworten

Sicherheit

Ocp-Apim-Subscription-Key

Beispiele

Successful Get Model Evaluation Summary

Beispielanforderung

Beispiel für eine Antwort

Definitionen

Error

ErrorCode

ErrorResponse

EvaluationKind

InnerErrorCode

InnerErrorModel

ProjectKind

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

TextAnalysisAuthoringEntityEvaluationSummary

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

TextAnalysisAuthoringEvaluationOptions

TextAnalysisAuthoringMultiLabelClassEvaluationSummary

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

TextAnalysisAuthoringSingleLabelClassEvaluationSummary

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

Zusätzliche Ressourcen