Text Analysis Authoring - Get Model Evaluation Summary

Référence

Service:: Azure AI Services

Version d'API:: 2023-04-01

Obtient le résumé d’évaluation d’un modèle entraîné. Le résumé comprend des mesures de performances de haut niveau du modèle, par exemple, F1, Précision, Rappel, etc.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

Paramètres URI

Nom	Dans	Obligatoire	Type	Description
Endpoint	path	True	string url	Point de terminaison Cognitive Services pris en charge, par exemple, https://.api.cognitiveservices.azure.com.
projectName	path	True	string	Nom du projet à utiliser.
trainedModelLabel	path	True	string	Étiquette de modèle entraînée.
api-version	query	True	string	Version de l’API à utiliser pour cette opération.

Réponses

Nom	Type	Description
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	La demande a réussi.
Other Status Codes	ErrorResponse	Réponse d’erreur inattendue.

Sécurité

Ocp-Apim-Subscription-Key

Type: apiKey
Dans: header

OAuth2Auth

Type: oauth2
Flux: accessCode
URL d’autorisation: https://login.microsoftonline.com/common/oauth2/authorize
URL du jeton: https://login.microsoftonline.com/common/oauth2/token

Étendues

Nom	Description
https://cognitiveservices.azure.com/.default

Exemples

SuccessfulGetModelEvaluationSummary

Exemple de requête

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

Exemple de réponse

Code d’état:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Définitions

Nom	Description
Error	Objet d’erreur.
ErrorCode	Code d’erreur lisible par l’homme.
ErrorResponse	Réponse d’erreur.
EvaluationKind
InnerErrorCode	Code d’erreur lisible par l’homme.
InnerErrorModel	Objet contenant des informations plus spécifiques sur l’erreur. Conformément aux instructions de l’API Microsoft One - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	Représente le résumé d’évaluation d’un projet de reconnaissance d’entité personnalisé.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	Représente le résumé d’évaluation d’un projet de classification multi-étiquette personnalisé.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Représente le résumé de l’évaluation d’un projet de classification d’étiquette unique personnalisé.
TextAnalysisAuthoringEntityEvaluationSummary	Représente le résumé d’évaluation d’une entité.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Représente le résumé d’évaluation d’un projet de reconnaissance d’entité personnalisé.
TextAnalysisAuthoringEvaluationOptions	Représente les options utilisées pour exécuter l’évaluation.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	Représente le résumé d’évaluation d’une classe dans un projet de classification multi-étiquette.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Représente le résumé de l’évaluation d’un projet de classification multi-étiquette.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	Représente le résumé d’évaluation d’une classe dans un projet de classification à étiquette unique.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Représente le résumé de l’évaluation d’un projet de classification d’étiquette unique personnalisé.

Error

Objet d’erreur.

Nom	Type	Description
code	ErrorCode	Un ensemble de codes d’erreur définis par le serveur.
details	Error[]	Tableau de détails sur des erreurs spécifiques qui ont conduit à cette erreur signalée.
innererror	InnerErrorModel	Objet contenant des informations plus spécifiques que l’objet actuel sur l’erreur.
message	string	Représentation lisible par l’homme de l’erreur.
target	string	Cible de l’erreur.

ErrorCode

Code d’erreur lisible par l’homme.

Nom	Type	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Réponse d’erreur.

Nom	Type	Description
error	Error	Objet d’erreur.

EvaluationKind

Nom	Type	Description
manual	string	Fractionnez les données en fonction du jeu de données choisi pour chaque exemple dans les données.
percentage	string	Fractionnez les données en jeux d’entraînement et de test en pourcentages définis par l’utilisateur.

InnerErrorCode

Code d’erreur lisible par l’homme.

Nom	Type	Description
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

Objet contenant des informations plus spécifiques sur l’erreur. Conformément aux instructions de l’API Microsoft One - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Nom	Type	Description
code	InnerErrorCode	Un ensemble de codes d’erreur définis par le serveur.
details	object	Détails de l’erreur.
innererror	InnerErrorModel	Objet contenant des informations plus spécifiques que l’objet actuel sur l’erreur.
message	string	Message d'erreur.
target	string	Cible d’erreur.

ProjectKind

Nom	Type	Description
CustomEntityRecognition	string	Pour créer un modèle d’extraction pour identifier vos catégories de domaine à l’aide de vos propres données.
CustomMultiLabelClassification	string	Pour créer un modèle de classification pour classifier du texte à l’aide de vos propres données. Chaque fichier peut avoir une ou plusieurs étiquettes. Par exemple, le fichier 1 est classé comme A, B et C et le fichier 2 est classé en tant que B et C.
CustomSingleLabelClassification	string	Pour créer un modèle de classification pour classifier du texte à l’aide de vos propres données. Chaque fichier n’aura qu’une seule étiquette. Par exemple, le fichier 1 est classé comme A et le fichier 2 est classé comme B.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Représente le résumé d’évaluation d’un projet de reconnaissance d’entité personnalisé.

Nom	Type	Description
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Contient les données relatives à l’évaluation de l’extraction.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Représente les options utilisées pour exécuter l’évaluation.
projectKind	string: CustomEntityRecognition	Représente le type de projet sur lequel l’évaluation s’est exécutée.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Représente le résumé d’évaluation d’un projet de classification multi-étiquette personnalisé.

Nom	Type	Description
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Contient les données relatives à l’évaluation de classification multi-étiquettes.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Représente les options utilisées pour exécuter l’évaluation.
projectKind	string: CustomMultiLabelClassification	Représente le type de projet sur lequel l’évaluation s’est exécutée.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Représente le résumé de l’évaluation d’un projet de classification d’étiquette unique personnalisé.

Nom	Type	Description
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Contient les données relatives à l’évaluation de la classification d’étiquette unique.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Représente les options utilisées pour exécuter l’évaluation.
projectKind	string: CustomSingleLabelClassification	Représente le type de projet sur lequel l’évaluation s’est exécutée.

TextAnalysisAuthoringEntityEvaluationSummary

Représente le résumé d’évaluation d’une entité.

Nom	Type	Description
f1	number	Représente la précision du modèle
falseNegativeCount	integer	Représente le nombre de faux négatifs
falsePositiveCount	integer	Représente le nombre de faux positifs
precision	number	Représente le rappel du modèle
recall	number	Représente le score F1 du modèle
trueNegativeCount	integer	Représente le nombre de vrais négatifs
truePositiveCount	integer	Représente le nombre de vrais positifs

TextAnalysisAuthoringEntityRecognitionEvaluationSummary