Text Analysis Authoring - Get Model Evaluation Summary

參考

服務:: Azure AI Services

API 版本:: 2023-04-01

取得定型模型的評估摘要。摘要包含模型的高階效能測量，例如 F1、精確度、召回率等。

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

URI 參數

名稱	位於	必要	類型	Description
Endpoint	path	True	string url	支援的認知服務端點，例如 https://.api.cognitiveservices.azure.com.
projectName	path	True	string	要使用的項目名稱。
trainedModelLabel	path	True	string	定型的模型標籤。
api-version	query	True	string	要用於這項作業的 API 版本。

回應

名稱	類型	Description
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	要求已成功。
Other Status Codes	ErrorResponse	未預期的錯誤回應。

安全性

Ocp-Apim-Subscription-Key

類型: apiKey
位於: header

OAuth2Auth

類型: oauth2
Flow: accessCode
授權 URL: https://login.microsoftonline.com/common/oauth2/authorize
權杖 URL: https://login.microsoftonline.com/common/oauth2/token

範圍

名稱	Description
https://cognitiveservices.azure.com/.default

範例

SuccessfulGetModelEvaluationSummary

範例要求

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

範例回覆

狀態碼:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

定義

名稱	Description
Error	error 物件。
ErrorCode	人類可讀取的錯誤碼。
ErrorResponse	錯誤回應。
EvaluationKind
InnerErrorCode	人類可讀取的錯誤碼。
InnerErrorModel	物件，包含有關錯誤的更特定資訊。根據Microsoft一個 API 指導方針 - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses。
ProjectKind
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	表示自定義實體辨識專案的評估摘要。
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	表示自定義多標籤分類項目的評估摘要。
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	表示自定義單一標籤分類專案的評估摘要。
TextAnalysisAuthoringEntityEvaluationSummary	表示實體的評估摘要。
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	表示自定義實體辨識專案的評估摘要。
TextAnalysisAuthoringEvaluationOptions	表示執行評估所使用的選項。
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	表示多標籤分類項目中類別的評估摘要。
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	表示多標籤分類項目的評估摘要。
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	表示單一標籤分類項目中類別的評估摘要。
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	表示自定義單一標籤分類專案的評估摘要。

Error

error 物件。

名稱	類型	Description
code	ErrorCode	其中一組伺服器定義的錯誤碼。
details	Error[]	導致此錯誤之特定錯誤的詳細數據陣列。
innererror	InnerErrorModel	物件，包含與目前對象有關錯誤更具體的資訊。
message	string	錯誤的人類可讀取表示法。
target	string	錯誤的目標。

ErrorCode

人類可讀取的錯誤碼。

名稱	類型	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

錯誤回應。

名稱	類型	Description
error	Error	error 物件。

EvaluationKind

名稱	類型	Description
manual	string	根據所選取資料集分割數據，以取得資料中的每個範例。
percentage	string	根據使用者定義的百分比，將數據分割成定型集和測試集。

InnerErrorCode

人類可讀取的錯誤碼。

名稱	類型	Description
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

物件，包含有關錯誤的更特定資訊。根據Microsoft一個 API 指導方針 - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses。

名稱	類型	Description
code	InnerErrorCode	其中一組伺服器定義的錯誤碼。
details	object	錯誤詳細數據。
innererror	InnerErrorModel	物件，包含與目前對象有關錯誤更具體的資訊。
message	string	錯誤資訊。
target	string	錯誤目標。

ProjectKind

名稱	類型	Description
CustomEntityRecognition	string	若要建置擷取模型，以使用您自己的數據來識別您的領域類別。
CustomMultiLabelClassification	string	若要建置分類模型，以使用您自己的數據來分類文字。每個檔案可以有一或多個標籤。例如，檔案 1 會分類為 A、B 和 C，而檔案 2 則分類為 B 和 C。
CustomSingleLabelClassification	string	若要建置分類模型，以使用您自己的數據來分類文字。每個檔案只會有一個標籤。例如，檔案 1 會分類為 A，而檔案 2 則分類為 B。

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

表示自定義實體辨識專案的評估摘要。

名稱	類型	Description
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	包含與擷取評估相關的數據。
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	表示執行評估所使用的選項。
projectKind	string: CustomEntityRecognition	表示評估執行的項目類型。

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

表示自定義多標籤分類項目的評估摘要。

名稱	類型	Description
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	包含與多重標籤分類評估相關的數據。
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	表示執行評估所使用的選項。
projectKind	string: CustomMultiLabelClassification	表示評估執行的項目類型。

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

表示自定義單一標籤分類專案的評估摘要。

名稱	類型	Description
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	包含與單一標籤分類評估相關的數據。
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	表示執行評估所使用的選項。
projectKind	string: CustomSingleLabelClassification	表示評估執行的項目類型。

TextAnalysisAuthoringEntityEvaluationSummary

表示實體的評估摘要。

名稱	類型	Description
f1	number	表示模型精確度
falseNegativeCount	integer	表示誤判的計數
falsePositiveCount	integer	表示誤判計數
precision	number	表示模型回收
recall	number	代表模型 F1 分數
trueNegativeCount	integer	表示真負數的計數
truePositiveCount	integer	表示真正數的計數

TextAnalysisAuthoringEntityRecognitionEvaluationSummary