你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Text Analysis Authoring - Get Model Evaluation Summary

参考

服务:: Azure AI Services

API 版本:: 2023-04-01

获取已训练模型的计算摘要。摘要包括模型的高级别性能度量，例如 F1、精度、召回率等。

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

URI 参数

名称	在	必需	类型	说明
Endpoint	path	True	string url	支持的认知服务终结点（例如 https://.api.cognitiveservices.azure.com).
projectName	path	True	string	要使用的项目的名称。
trainedModelLabel	path	True	string	已训练的模型标签。
api-version	query	True	string	用于此操作的 API 版本。

响应

名称	类型	说明
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	请求已成功。
Other Status Codes	ErrorResponse	意外的错误响应。

安全性

Ocp-Apim-Subscription-Key

类型: apiKey
在: header

OAuth2Auth

类型: oauth2
流向: accessCode
授权 URL: https://login.microsoftonline.com/common/oauth2/authorize
令牌 URL: https://login.microsoftonline.com/common/oauth2/token

作用域

名称	说明
https://cognitiveservices.azure.com/.default

示例

SuccessfulGetModelEvaluationSummary

示例请求

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

示例响应

状态代码:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

定义

名称	说明
Error	错误对象。
ErrorCode	人工可读错误代码。
ErrorResponse	错误响应。
EvaluationKind
EvaluationOptions	表示用于运行评估的选项。
InnerErrorCode	人工可读错误代码。
InnerErrorModel	包含有关错误的更具体信息的对象。根据Microsoft一个 API 指南 - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses。
ProjectKind
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	表示自定义实体识别项目的评估摘要。
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	表示自定义多标签分类项目的评估摘要。
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	表示自定义单标签分类项目的评估摘要。
TextAnalysisAuthoringEntityEvaluationSummary	表示实体的计算摘要。
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	表示自定义实体识别项目的评估摘要。
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	表示多标签分类项目中类的评估摘要。
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	表示多标签分类项目的评估摘要。
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	表示单标签分类项目中类的计算摘要。
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	表示自定义单标签分类项目的评估摘要。

Error

错误对象。

名称	类型	说明
code	ErrorCode	服务器定义的错误代码集之一。
details	Error[]	导致此报告错误的特定错误的详细信息数组。
innererror	InnerErrorModel	包含与当前对象有关错误的更具体信息的对象。
message	string	错误的人工可读表示形式。
target	string	错误的目标。

ErrorCode

人工可读错误代码。

名称	类型	说明
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

错误响应。

名称	类型	说明
error	Error	错误对象。

EvaluationKind

名称	类型	说明
manual	string	根据数据中的每个示例选择的数据集拆分数据。
percentage	string	根据用户定义的百分比将数据拆分为训练集和测试集。

EvaluationOptions

表示用于运行评估的选项。

名称	类型	说明
kind	EvaluationKind	表示计算类型。默认情况下，计算类型设置为百分比。
testingSplitPercentage	integer	表示测试数据集拆分百分比。仅当评估类型为百分比时才需要。
trainingSplitPercentage	integer	表示训练数据集拆分百分比。仅当评估类型为百分比时才需要。

InnerErrorCode

人工可读错误代码。

名称	类型	说明
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

包含有关错误的更具体信息的对象。根据Microsoft一个 API 指南 - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses。

名称	类型	说明
code	InnerErrorCode	服务器定义的错误代码集之一。
details	object	错误详细信息。
innererror	InnerErrorModel	包含与当前对象有关错误的更具体信息的对象。
message	string	错误信息。
target	string	错误目标。

ProjectKind

名称	类型	说明
CustomEntityRecognition	string	若要生成提取模型，以使用自己的数据标识域类别。
CustomMultiLabelClassification	string	用于生成分类模型以使用自己的数据对文本进行分类。每个文件可以有一个或多个标签。例如，文件 1 分类为 A、B 和 C，文件 2 分类为 B 和 C。
CustomSingleLabelClassification	string	用于生成分类模型以使用自己的数据对文本进行分类。每个文件将只有一个标签。例如，文件 1 被分类为 A，文件 2 分类为 B。

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

表示自定义实体识别项目的评估摘要。

名称	类型	说明
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	包含与提取评估相关的数据。
evaluationOptions	EvaluationOptions	表示用于运行评估的选项。
projectKind	string: CustomEntityRecognition	表示计算运行的项目类型。

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

表示自定义多标签分类项目的评估摘要。

名称	类型	说明
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	包含与多标签分类评估相关的数据。
evaluationOptions	EvaluationOptions	表示用于运行评估的选项。
projectKind	string: CustomMultiLabelClassification	表示计算运行的项目类型。

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

表示自定义单标签分类项目的评估摘要。

名称	类型	说明
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	包含与单个标签分类评估相关的数据。
evaluationOptions	EvaluationOptions	表示用于运行评估的选项。
projectKind	string: CustomSingleLabelClassification	表示计算运行的项目类型。

TextAnalysisAuthoringEntityEvaluationSummary

表示实体的计算摘要。

名称	类型	说明
f1	number	表示模型精度
falseNegativeCount	integer	表示误报计数
falsePositiveCount	integer	表示误报计数
precision	number	表示模型召回率
recall	number	表示模型 F1 分数
trueNegativeCount	integer	表示真负数
truePositiveCount	integer	表示真正计数

TextAnalysisAuthoringEntityRecognitionEvaluationSummary