Text Analysis Authoring - Get Model Evaluation Summary

Referentie

Service:: Azure AI Services

API-versie:: 2023-04-01

Hiermee haalt u het evaluatieoverzicht van een getraind model op. De samenvatting bevat prestatiemetingen op hoog niveau van het model, bijvoorbeeld F1, Precisie, Relevante overeenkomsten, enzovoort.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

URI-parameters

Name	In	Vereist	Type	Description
Endpoint	path	True	string url	Ondersteund Cognitive Services-eindpunt, bijvoorbeeld https://.api.cognitiveservices.azure.com.
projectName	path	True	string	De naam van het te gebruiken project.
trainedModelLabel	path	True	string	Het getrainde modellabel.
api-version	query	True	string	De API-versie die voor deze bewerking moet worden gebruikt.

Antwoorden

Name	Type	Description
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	De aanvraag is voltooid.
Other Status Codes	ErrorResponse	Een onverwachte foutreactie.

Beveiliging

Ocp-Apim-Subscription-Key

Type: apiKey
In: header

OAuth2Auth

Type: oauth2
Stroom: accessCode
Autorisatie-URL: https://login.microsoftonline.com/common/oauth2/authorize
Token-URL: https://login.microsoftonline.com/common/oauth2/token

Bereiken

Name	Description
https://cognitiveservices.azure.com/.default

Voorbeelden

SuccessfulGetModelEvaluationSummary

Voorbeeldaanvraag

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

Voorbeeldrespons

Statuscode:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definities

Name	Description
Error	Het foutobject.
ErrorCode	Leesbare foutcode.
ErrorResponse	Foutreactie.
EvaluationKind
InnerErrorCode	Leesbare foutcode.
InnerErrorModel	Een object met meer specifieke informatie over de fout. Volgens de richtlijnen voor Microsoft One-API- https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	Vertegenwoordigt de evaluatiesamenvatting voor een aangepast entiteitsherkenningsproject.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	Vertegenwoordigt de evaluatiesamenvatting voor een aangepast classificatieproject met meerdere labels.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Vertegenwoordigt het evaluatieoverzicht voor een aangepast classificatieproject met één label.
TextAnalysisAuthoringEntityEvaluationSummary	Vertegenwoordigt de evaluatiesamenvatting voor een entiteit.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Vertegenwoordigt de evaluatiesamenvatting voor een aangepast entiteitsherkenningsproject.
TextAnalysisAuthoringEvaluationOptions	Vertegenwoordigt de opties die worden gebruikt voor het uitvoeren van de evaluatie.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	Vertegenwoordigt het evaluatieoverzicht van een klasse in een classificatieproject met meerdere labels.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Vertegenwoordigt de evaluatiesamenvatting voor een classificatieproject met meerdere labels.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	Vertegenwoordigt de evaluatiesamenvatting voor een klasse in een classificatieproject met één label.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Vertegenwoordigt het evaluatieoverzicht voor een aangepast classificatieproject met één label.

Error

Het foutobject.

Name	Type	Description
code	ErrorCode	Een van een door de server gedefinieerde set foutcodes.
details	Error[]	Een matrix met details over specifieke fouten die hebben geleid tot deze gemelde fout.
innererror	InnerErrorModel	Een object met meer specifieke informatie dan het huidige object over de fout.
message	string	Een leesbare weergave van de fout.
target	string	Het doel van de fout.

ErrorCode

Leesbare foutcode.

Name	Type	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Foutreactie.

Name	Type	Description
error	Error	Het foutobject.

EvaluationKind

Name	Type	Description
manual	string	Splits de gegevens op basis van de gekozen gegevensset voor elk voorbeeld in de gegevens.
percentage	string	Splits de gegevens in trainings- en testsets op basis van door de gebruiker gedefinieerde percentages.

InnerErrorCode

Leesbare foutcode.

Name	Type	Description
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

Een object met meer specifieke informatie over de fout. Volgens de richtlijnen voor Microsoft One-API- https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Name	Type	Description
code	InnerErrorCode	Een van een door de server gedefinieerde set foutcodes.
details	object	Foutdetails.
innererror	InnerErrorModel	Een object met meer specifieke informatie dan het huidige object over de fout.
message	string	Foutmelding.
target	string	Foutdoel.

ProjectKind

Name	Type	Description
CustomEntityRecognition	string	Voor het bouwen van een extractiemodel om uw domeincategorieën te identificeren met behulp van uw eigen gegevens.
CustomMultiLabelClassification	string	Voor het bouwen van een classificatiemodel om tekst te classificeren met behulp van uw eigen gegevens. Elk bestand kan een of meer labels hebben. Bestand 1 is bijvoorbeeld geclassificeerd als A, B en C en bestand 2 is geclassificeerd als B en C.
CustomSingleLabelClassification	string	Voor het bouwen van een classificatiemodel om tekst te classificeren met behulp van uw eigen gegevens. Elk bestand heeft slechts één label. Bestand 1 is bijvoorbeeld geclassificeerd als A en bestand 2 wordt geclassificeerd als B.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Vertegenwoordigt de evaluatiesamenvatting voor een aangepast entiteitsherkenningsproject.

Name	Type	Description
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Bevat de gegevens met betrekking tot de extractie-evaluatie.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Vertegenwoordigt de opties die worden gebruikt voor het uitvoeren van de evaluatie.
projectKind	string: CustomEntityRecognition	Vertegenwoordigt het projecttype waarop de evaluatie is uitgevoerd.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Vertegenwoordigt de evaluatiesamenvatting voor een aangepast classificatieproject met meerdere labels.

Name	Type	Description
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Bevat de gegevens met betrekking tot evaluatie van classificatie met meerdere labels.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Vertegenwoordigt de opties die worden gebruikt voor het uitvoeren van de evaluatie.
projectKind	string: CustomMultiLabelClassification	Vertegenwoordigt het projecttype waarop de evaluatie is uitgevoerd.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Vertegenwoordigt het evaluatieoverzicht voor een aangepast classificatieproject met één label.

Name	Type	Description
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Bevat de gegevens die betrekking hebben op evaluatie van classificatie met één label.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Vertegenwoordigt de opties die worden gebruikt voor het uitvoeren van de evaluatie.
projectKind	string: CustomSingleLabelClassification	Vertegenwoordigt het projecttype waarop de evaluatie is uitgevoerd.

TextAnalysisAuthoringEntityEvaluationSummary

Vertegenwoordigt de evaluatiesamenvatting voor een entiteit.

Name	Type	Description
f1	number	Vertegenwoordigt de modelprecisie
falseNegativeCount	integer	Vertegenwoordigt het aantal fout-negatieven
falsePositiveCount	integer	Vertegenwoordigt het aantal fout-positieven
precision	number	Vertegenwoordigt de terugroepactie van het model
recall	number	Vertegenwoordigt de F1-score van het model
trueNegativeCount	integer	Vertegenwoordigt het aantal terecht-negatieven
truePositiveCount	integer	Vertegenwoordigt het aantal terecht-positieven

TextAnalysisAuthoringEntityRecognitionEvaluationSummary