Text Analysis Authoring - Get Model Evaluation Summary

Referens

Tjänst:: Azure AI Services

API-version:: 2023-04-01

Hämtar utvärderingssammanfattningen för en tränad modell. Sammanfattningen innehåller prestandamätningar på hög nivå av modellen, t.ex. F1, Precision, Recall osv.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

URI-parametrar

Name	I	Obligatorisk	Typ	Description
Endpoint	path	True	string url	Cognitive Services-slutpunkt som stöds, t.ex. https://.api.cognitiveservices.azure.com.
projectName	path	True	string	Namnet på projektet som ska användas.
trainedModelLabel	path	True	string	Den tränade modelletiketten.
api-version	query	True	string	DEN API-version som ska användas för den här åtgärden.

Svar

Name	Typ	Description
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Begäran har slutförts.
Other Status Codes	ErrorResponse	Ett oväntat felsvar.

Säkerhet

Ocp-Apim-Subscription-Key

Typ: apiKey
I: header

OAuth2Auth

Typ: oauth2
Flow: accessCode
Auktoriseringswebbadress: https://login.microsoftonline.com/common/oauth2/authorize
Token-webbadress: https://login.microsoftonline.com/common/oauth2/token

Omfattningar

Name	Description
https://cognitiveservices.azure.com/.default

Exempel

SuccessfulGetModelEvaluationSummary

Exempelbegäran

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

Exempelsvar

Statuskod:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definitioner

Name	Description
Error	Felobjektet.
ErrorCode	Felkod som kan läsas av människor.
ErrorResponse	Felsvar.
EvaluationKind
InnerErrorCode	Felkod som kan läsas av människor.
InnerErrorModel	Ett objekt som innehåller mer specifik information om felet. Enligt Riktlinjerna för Microsoft One API – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	Representerar utvärderingssammanfattningen för ett anpassat entitetsigenkänningsprojekt.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	Representerar utvärderingssammanfattningen för ett anpassat klassificeringsprojekt med flera etiketter.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Representerar utvärderingssammanfattningen för ett anpassat klassificeringsprojekt med en etikett.
TextAnalysisAuthoringEntityEvaluationSummary	Representerar utvärderingssammanfattningen för en entitet.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Representerar utvärderingssammanfattningen för ett anpassat entitetsigenkänningsprojekt.
TextAnalysisAuthoringEvaluationOptions	Representerar de alternativ som används för att köra utvärderingen.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	Representerar utvärderingssammanfattningen för en klass i ett klassificeringsprojekt med flera etiketter.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Representerar utvärderingssammanfattningen för ett klassificeringsprojekt med flera etiketter.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	Representerar utvärderingssammanfattningen för en klass i ett klassificeringsprojekt med en etikett.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Representerar utvärderingssammanfattningen för ett anpassat klassificeringsprojekt med en etikett.

Error

Felobjektet.

Name	Typ	Description
code	ErrorCode	En av en serverdefinierad uppsättning felkoder.
details	Error[]	En matris med information om specifika fel som ledde till det rapporterade felet.
innererror	InnerErrorModel	Ett objekt som innehåller mer specifik information än det aktuella objektet om felet.
message	string	En mänsklig läsbar representation av felet.
target	string	Målet för felet.

ErrorCode

Felkod som kan läsas av människor.

Name	Typ	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Felsvar.

Name	Typ	Description
error	Error	Felobjektet.

EvaluationKind

Name	Typ	Description
manual	string	Dela upp data enligt den valda datauppsättningen för varje exempel i data.
percentage	string	Dela upp data i tränings- och testuppsättningar enligt användardefinierade procentsatser.

InnerErrorCode

Felkod som kan läsas av människor.

Name	Typ	Description
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

Ett objekt som innehåller mer specifik information om felet. Enligt Riktlinjerna för Microsoft One API – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Name	Typ	Description
code	InnerErrorCode	En av en serverdefinierad uppsättning felkoder.
details	object	Felinformation.
innererror	InnerErrorModel	Ett objekt som innehåller mer specifik information än det aktuella objektet om felet.
message	string	Felmeddelande.
target	string	Felmål.

ProjectKind

Name	Typ	Description
CustomEntityRecognition	string	För att skapa en extraheringsmodell för att identifiera dina domänkategorier med dina egna data.
CustomMultiLabelClassification	string	För att skapa en klassificeringsmodell för att klassificera text med dina egna data. Varje fil kan ha en eller flera etiketter. Till exempel klassificeras fil 1 som A, B och C och fil 2 klassificeras som B och C.
CustomSingleLabelClassification	string	För att skapa en klassificeringsmodell för att klassificera text med dina egna data. Varje fil har bara en etikett. Till exempel klassificeras fil 1 som A och fil 2 klassificeras som B.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Representerar utvärderingssammanfattningen för ett anpassat entitetsigenkänningsprojekt.

Name	Typ	Description
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Innehåller data som rör utvärdering av extrahering.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Representerar de alternativ som används för att köra utvärderingen.
projectKind	string: CustomEntityRecognition	Representerar den projekttyp som utvärderingen kördes på.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Representerar utvärderingssammanfattningen för ett anpassat klassificeringsprojekt med flera etiketter.

Name	Typ	Description
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Innehåller data som rör utvärdering av klassificering av flera etiketter.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Representerar de alternativ som används för att köra utvärderingen.
projectKind	string: CustomMultiLabelClassification	Representerar den projekttyp som utvärderingen kördes på.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Representerar utvärderingssammanfattningen för ett anpassat klassificeringsprojekt med en etikett.

Name	Typ	Description
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Innehåller data som rör utvärdering av klassificering med en etikett.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Representerar de alternativ som används för att köra utvärderingen.
projectKind	string: CustomSingleLabelClassification	Representerar den projekttyp som utvärderingen kördes på.

TextAnalysisAuthoringEntityEvaluationSummary

Representerar utvärderingssammanfattningen för en entitet.

Name	Typ	Description
f1	number	Representerar modellens precision
falseNegativeCount	integer	Representerar antalet falska negativa
falsePositiveCount	integer	Representerar antalet falska positiva identifieringar
precision	number	Representerar modellåterkallelsen
recall	number	Representerar modell F1-poängen
trueNegativeCount	integer	Representerar antalet sanna negativa
truePositiveCount	integer	Representerar antalet sanna positiva

TextAnalysisAuthoringEntityRecognitionEvaluationSummary