Text Analysis Authoring - Get Model Evaluation Summary

Služba:

Azure AI Services

Verze rozhraní API:

2023-04-01

Získá souhrn vyhodnocení vytrénovaného modelu. Souhrn zahrnuje měření výkonu vysoké úrovně modelu, například F1, Přesnost, Úplnost atd.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

Parametry identifikátoru URI

Name	V	Vyžadováno	Typ	Description
Endpoint	path	True	string url	Podporovaný koncový bod služeb Cognitive Services, například https://.api.cognitiveservices.azure.com.
projectName	path	True	string	Název projektu, který se má použít.
trainedModelLabel	path	True	string	Popisek natrénovaného modelu.
api-version	query	True	string	Verze rozhraní API, která se má použít pro tuto operaci.

Odpovědi

Name	Typ	Description
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Požadavek byl úspěšný.
Other Status Codes	ErrorResponse	Neočekávaná chybová odpověď

Zabezpečení

Ocp-Apim-Subscription-Key

Typ: apiKey
V: header

OAuth2Auth

Typ: oauth2
Tok: accessCode
URL autorizace: https://login.microsoftonline.com/common/oauth2/authorize
URL tokenu: https://login.microsoftonline.com/common/oauth2/token

Rozsahy

Name	Description
https://cognitiveservices.azure.com/.default

Příklady

SuccessfulGetModelEvaluationSummary

Ukázkový požadavek

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

Ukázková odpověď

Stavový kód:

200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definice

Name	Description
Error	Objekt chyby.
ErrorCode	Kód chyby čitelné člověkem
ErrorResponse	Chybová odpověď.
EvaluationKind
InnerErrorCode	Kód chyby čitelné člověkem
InnerErrorModel	Objekt obsahující konkrétnější informace o chybě. Podle pokynů k rozhraní API Microsoft One – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	Představuje souhrn vyhodnocení pro projekt rozpoznávání vlastních entit.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	Představuje souhrn vyhodnocení pro vlastní projekt klasifikace s více popisky.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Představuje souhrn vyhodnocení pro vlastní projekt klasifikace s jedním popiskem.
TextAnalysisAuthoringEntityEvaluationSummary	Představuje souhrn vyhodnocení pro entitu.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Představuje souhrn vyhodnocení pro projekt rozpoznávání vlastních entit.
TextAnalysisAuthoringEvaluationOptions	Představuje možnosti použité při spuštění vyhodnocení.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	Představuje souhrn vyhodnocení třídy v projektu klasifikace s více popisky.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Představuje souhrn vyhodnocení projektu klasifikace s více popisky.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	Představuje souhrn vyhodnocení pro třídu v projektu klasifikace s jedním popiskem.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Představuje souhrn vyhodnocení pro vlastní projekt klasifikace s jedním popiskem.

Error

Objekt chyby.

Name	Typ	Description
code	ErrorCode	Jedna ze serverově definovaných kódů chyb.
details	Error[]	Pole podrobností o konkrétních chybách, které vedly k této nahlášené chybě.
innererror	InnerErrorModel	Objekt obsahující konkrétnější informace, než je aktuální objekt o chybě.
message	string	Čitelné znázornění chyby člověkem.
target	string	Cíl chyby.

ErrorCode

Kód chyby čitelné člověkem

Name	Typ	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Chybová odpověď.

Name	Typ	Description
error	Error	Objekt chyby.

EvaluationKind

Name	Typ	Description
manual	string	Rozdělte data podle zvolené datové sady pro každý příklad v datech.
percentage	string	Data rozdělte do trénovacích a testovacích sad podle uživatelsky definovaných procent.

InnerErrorCode

Kód chyby čitelné člověkem

Name	Typ	Description
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

Objekt obsahující konkrétnější informace o chybě. Podle pokynů k rozhraní API Microsoft One – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Name	Typ	Description
code	InnerErrorCode	Jedna ze serverově definovaných kódů chyb.
details	object	Podrobnosti o chybě
innererror	InnerErrorModel	Objekt obsahující konkrétnější informace, než je aktuální objekt o chybě.
message	string	Zpráva o chybě.
target	string	Cíl chyby

ProjectKind

Name	Typ	Description
CustomEntityRecognition	string	Pro vytvoření modelu extrakce pro identifikaci kategorií domény pomocí vlastních dat.
CustomMultiLabelClassification	string	Vytvoření klasifikačního modelu pro klasifikaci textu pomocí vlastních dat Každý soubor může mít jeden nebo více popisků. Například soubor 1 je klasifikován jako A, B a C a soubor 2 je klasifikován jako B a C.
CustomSingleLabelClassification	string	Vytvoření klasifikačního modelu pro klasifikaci textu pomocí vlastních dat Každý soubor bude mít jenom jeden popisek. Například soubor 1 je klasifikován jako A a soubor 2 je klasifikován jako B.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Představuje souhrn vyhodnocení pro projekt rozpoznávání vlastních entit.

Name	Typ	Description
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Obsahuje data související s vyhodnocením extrakce.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Představuje možnosti použité při spuštění vyhodnocení.
projectKind	string: CustomEntityRecognition	Představuje typ projektu, na který se vyhodnocení spustilo.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Představuje souhrn vyhodnocení pro vlastní projekt klasifikace s více popisky.

Name	Typ	Description
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Obsahuje data související s vyhodnocením klasifikace více popisků.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Představuje možnosti použité při spuštění vyhodnocení.
projectKind	string: CustomMultiLabelClassification	Představuje typ projektu, na který se vyhodnocení spustilo.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Představuje souhrn vyhodnocení pro vlastní projekt klasifikace s jedním popiskem.

Name	Typ	Description
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Obsahuje data související s vyhodnocením klasifikace s jedním popiskem.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Představuje možnosti použité při spuštění vyhodnocení.
projectKind	string: CustomSingleLabelClassification	Představuje typ projektu, na který se vyhodnocení spustilo.

TextAnalysisAuthoringEntityEvaluationSummary

Představuje souhrn vyhodnocení pro entitu.

Name	Typ	Description
f1	number	Představuje přesnost modelu.
falseNegativeCount	integer	Představuje počet falešně záporných hodnot.
falsePositiveCount	integer	Představuje počet falešně pozitivních výsledků.
precision	number	Představuje úplnost modelu.
recall	number	Představuje skóre F1 modelu.
trueNegativeCount	integer	Představuje počet pravdivě záporných hodnot.
truePositiveCount	integer	Představuje početpravdivýchch

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

Představuje souhrn vyhodnocení pro projekt rozpoznávání vlastních entit.

Name	Typ	Description
confusionMatrix	object	Představuje konfuzní matici mezi dvěma entitami (dvě entity mohou být stejné). Matice je mezi entitou označenou a entitou, která byla předpovězena.
entities	<string,  TextAnalysisAuthoringEntityEvaluationSummary>	Představuje vyhodnocení entit.
macroF1	number	Představuje makro F1. Očekávaná hodnota je plovoucí mezi 0 a 1 včetně.
macroPrecision	number	Představuje přesnost makra. Očekávaná hodnota je plovoucí mezi 0 a 1 včetně.
macroRecall	number	Představuje úplnost makra. Očekávaná hodnota je plovoucí mezi 0 a 1 včetně.
microF1	number	Představuje mikro F1. Očekávaná hodnota je plovoucí mezi 0 a 1 včetně.
microPrecision	number	Představuje mikropřesnost. Očekávaná hodnota je plovoucí mezi 0 a 1 včetně.
microRecall	number	Představuje mikrovolba. Očekávaná hodnota je plovoucí mezi 0 a 1 včetně.

TextAnalysisAuthoringEvaluationOptions

Představuje možnosti použité při spuštění vyhodnocení.

Name	Typ	Description
kind	EvaluationKind	Představuje druh vyhodnocení. Ve výchozím nastavení je typ vyhodnocení nastavený na procento.
testingSplitPercentage	integer	Představuje procento rozdělení testovací datové sady. Potřeba je pouze v případě, že je druh vyhodnocení procentuální.
trainingSplitPercentage	integer	Představuje procento rozdělení trénovací datové sady. Potřeba je pouze v případě, že je druh vyhodnocení procentuální.

TextAnalysisAuthoringMultiLabelClassEvaluationSummary

Představuje souhrn vyhodnocení třídy v projektu klasifikace s více popisky.

Name	Typ	Description
f1	number	Představuje přesnost modelu.
falseNegativeCount	integer	Představuje počet falešně záporných hodnot.
falsePositiveCount	integer	Představuje počet falešně pozitivních výsledků.
precision	number	Představuje úplnost modelu.
recall	number	Představuje skóre F1 modelu.
trueNegativeCount	integer	Představuje počet pravdivě záporných hodnot.
truePositiveCount	integer	Představuje početpravdivýchch

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

Představuje souhrn vyhodnocení projektu klasifikace s více popisky.

Name	Typ	Description
classes	<string,  TextAnalysisAuthoringMultiLabelClassEvaluationSummary>	Představuje vyhodnocení tříd.
macroF1	number	Představuje makro F1. Očekávaná hodnota je plovoucí mezi 0 a 1 včetně.
macroPrecision	number	Představuje přesnost makra. Očekávaná hodnota je plovoucí mezi 0 a 1 včetně.
macroRecall	number	Představuje úplnost makra. Očekávaná hodnota je plovoucí mezi 0 a 1 včetně.
microF1	number	Představuje mikro F1. Očekávaná hodnota je plovoucí mezi 0 a 1 včetně.
microPrecision	number	Představuje mikropřesnost. Očekávaná hodnota je plovoucí mezi 0 a 1 včetně.
microRecall	number	Představuje mikrovolba. Očekávaná hodnota je plovoucí mezi 0 a 1 včetně.

TextAnalysisAuthoringSingleLabelClassEvaluationSummary

Představuje souhrn vyhodnocení pro třídu v projektu klasifikace s jedním popiskem.

Name	Typ	Description
f1	number	Představuje přesnost modelu.
falseNegativeCount	integer	Představuje počet falešně záporných hodnot.
falsePositiveCount	integer	Představuje počet falešně pozitivních výsledků.
precision	number	Představuje úplnost modelu.
recall	number	Představuje skóre F1 modelu.
trueNegativeCount	integer	Představuje počet pravdivě záporných hodnot.
truePositiveCount	integer	Představuje početpravdivýchch

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

Představuje souhrn vyhodnocení pro vlastní projekt klasifikace s jedním popiskem.

Name	Typ	Description
classes	<string,  TextAnalysisAuthoringSingleLabelClassEvaluationSummary>	Představuje vyhodnocení tříd.
confusionMatrix	object	Představuje konfuzní matici mezi dvěma třídami (dvě třídy mohou být stejné). Matice je mezi třídou označenou a třídou, která byla předpovězena.
macroF1	number	Představuje makro F1. Očekávaná hodnota je plovoucí mezi 0 a 1 včetně.
macroPrecision	number	Představuje přesnost makra. Očekávaná hodnota je plovoucí mezi 0 a 1 včetně.
macroRecall	number	Představuje úplnost makra. Očekávaná hodnota je plovoucí mezi 0 a 1 včetně.
microF1	number	Představuje mikro F1. Očekávaná hodnota je plovoucí mezi 0 a 1 včetně.
microPrecision	number	Představuje mikropřesnost. Očekávaná hodnota je plovoucí mezi 0 a 1 včetně.
microRecall	number	Představuje mikrovolba. Očekávaná hodnota je plovoucí mezi 0 a 1 včetně.