你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Conversational Analysis Authoring - Get Model Evaluation Summary

参考

服务:: Azure AI Services

API 版本:: 2022-05-01

获取已训练模型的计算摘要。摘要包括模型的高级别性能度量，例如 F1、精度、召回率等。

GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2022-05-01

URI 参数

名称	在	必需	类型	说明
Endpoint	path	True	string	支持的认知服务终结点（例如 https://.api.cognitiveservices.azure.com).
projectName	path	True	string maxLength: 100	要使用的项目的名称。
trainedModelLabel	path	True	string	已训练的模型标签。
api-version	query	True	string	客户端 API 版本。

请求头

名称	必需	类型	说明
Ocp-Apim-Subscription-Key	True	string	语言服务资源的订阅密钥。

响应

名称	类型	说明
200 OK	ConversationalAnalysisAuthoringEvaluationSummary	所有评估结果的列表。
Other Status Codes	ErrorResponse	错误响应。

安全性

Ocp-Apim-Subscription-Key

语言服务资源的订阅密钥。

类型: apiKey
在: header

示例

Successful Get Model Evaluation Summary

示例请求

HTTP

GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2022-05-01

示例响应

状态代码:: 200

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "Attachment": {
        "Attachment": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      },
      "Category": {
        "Category": {
          "normalizedValue": 91.666664,
          "rawValue": 11
        },
        "$none": {
          "normalizedValue": 8.333333,
          "rawValue": 1
        }
      },
      "ContactName": {
        "ContactName": {
          "normalizedValue": 91.666664,
          "rawValue": 22
        },
        "SenderName": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        },
        "$none": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "EmailSubject": {
        "EmailSubject": {
          "normalizedValue": 93.33333,
          "rawValue": 9.333334
        },
        "$none": {
          "normalizedValue": 6.6666665,
          "rawValue": 0.6666667
        }
      },
      "FromRelationshipName": {
        "FromRelationshipName": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "Line": {
        "Line": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "Message": {
        "Message": {
          "normalizedValue": 81.2063,
          "rawValue": 6.496504
        },
        "EmailSubject": {
          "normalizedValue": 7.43007,
          "rawValue": 0.5944056
        },
        "$none": {
          "normalizedValue": 9.120047,
          "rawValue": 0.7296037
        },
        "Date": {
          "normalizedValue": 2.2435899,
          "rawValue": 0.17948718
        }
      },
      "OrderReference": {
        "OrderReference": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "PositionReference": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "RelationshipName": {
        "RelationshipName": {
          "normalizedValue": 66.666664,
          "rawValue": 2
        },
        "$none": {
          "normalizedValue": 33.333332,
          "rawValue": 1
        }
      },
      "SearchTexts": {
        "SearchTexts": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "SenderName": {
        "SenderName": {
          "normalizedValue": 88.888885,
          "rawValue": 8
        },
        "ContactName": {
          "normalizedValue": 11.111111,
          "rawValue": 1
        }
      },
      "Time": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.739265,
          "rawValue": 162.575
        },
        "Category": {
          "normalizedValue": 0.2607362,
          "rawValue": 0.425
        }
      }
    },
    "entities": {
      "ContactName": {
        "f1": 0.9361702799797058,
        "precision": 0.95652174949646,
        "recall": 0.9166666865348816,
        "truePositiveCount": 22,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 2
      },
      "Category": {
        "f1": 0.8799999952316284,
        "precision": 0.8461538553237915,
        "recall": 0.9166666865348816,
        "truePositiveCount": 11,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "SenderName": {
        "f1": 0.8888888955116272,
        "precision": 0.8888888955116272,
        "recall": 0.8888888955116272,
        "truePositiveCount": 8,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      },
      "EmailSubject": {
        "f1": 0.8181817531585693,
        "precision": 0.75,
        "recall": 0.8999999761581421,
        "truePositiveCount": 9,
        "trueNegativeCount": 0,
        "falsePositiveCount": 3,
        "falseNegativeCount": 1
      },
      "Message": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 6,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 2
      },
      "Date": {
        "f1": 0.800000011920929,
        "precision": 0.6666666865348816,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 0
      },
      "OrderReference": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchTexts": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Attachment": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "RelationshipName": {
        "f1": 0.800000011920929,
        "precision": 1,
        "recall": 0.6666666865348816,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      },
      "Line": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Time": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 2
      },
      "FromRelationshipName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "PositionReference": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.8923077,
    "microPrecision": 0.8969072,
    "microRecall": 0.8877551,
    "macroF1": 0.7766601,
    "macroPrecision": 0.7755879,
    "macroRecall": 0.78849214
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "AddFlag": {
        "AddFlag": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "AddMore": {
        "AddMore": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "Cancel": {
        "Cancel": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "CheckMessages": {
        "CheckMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "Confirm": {
        "Confirm": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Delete": {
        "Delete": {
          "normalizedValue": 100,
          "rawValue": 5
        }
      },
      "Forward": {
        "Forward": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "None": {
        "None": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "QueryLastText": {
        "QueryLastText": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "ReadAloud": {
        "ReadAloud": {
          "normalizedValue": 100,
          "rawValue": 16
        }
      },
      "Reply": {
        "Reply": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "SearchMessages": {
        "SearchMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "SendEmail": {
        "SendEmail": {
          "normalizedValue": 100,
          "rawValue": 20
        }
      },
      "ShowNext": {
        "ShowNext": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "ShowPrevious": {
        "ShowPrevious": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      }
    },
    "intents": {
      "AddMore": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 104,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Cancel": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SendEmail": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 20,
        "trueNegativeCount": 101,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "CheckMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "AddFlag": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Reply": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ReadAloud": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 16,
        "trueNegativeCount": 105,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "QueryLastText": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Delete": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 5,
        "trueNegativeCount": 116,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Forward": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Confirm": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowNext": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowPrevious": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 118,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "None": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 120,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      }
    },
    "microF1": 1,
    "microPrecision": 1,
    "microRecall": 1,
    "macroF1": 1,
    "macroPrecision": 1,
    "macroRecall": 1
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

定义

名称	说明
ConversationalAnalysisAuthoringEntitiesEvaluationSummary	表示项目的实体的评估结果摘要。
ConversationalAnalysisAuthoringEntityEvaluationSummary	表示实体的计算结果。
ConversationalAnalysisAuthoringEvaluationOptions	表示用于运行评估的选项。
ConversationalAnalysisAuthoringEvaluationSummary	表示评估结果摘要。
ConversationalAnalysisAuthoringIntentEvaluationSummary	意向的评估摘要。
ConversationalAnalysisAuthoringIntentsEvaluationSummary	表示项目的意向的评估摘要。
Error	错误对象。
ErrorCode	人工可读错误代码。
ErrorResponse	错误响应。
EvaluationKind	表示计算类型。默认情况下，计算类型设置为百分比。
InnerErrorCode	人工可读错误代码。
InnerErrorModel	包含有关错误的更具体信息的对象。根据Microsoft一个 API 指南 - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses。

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

Object

表示项目的实体的评估结果摘要。

名称	类型	说明
confusionMatrix	object	表示两个实体之间的混淆矩阵（两个实体可以相同）。矩阵位于标记的实体和预测的实体之间。
entities	<string, ConversationalAnalysisAuthoringEntityEvaluationSummary>	表示实体评估摘要。
macroF1	number (float)	表示宏 F1
macroPrecision	number (float)	表示宏精度
macroRecall	number (float)	表示宏召回
microF1	number (float)	表示微 F1
microPrecision	number (float)	表示微精度
microRecall	number (float)	表示微召回

ConversationalAnalysisAuthoringEntityEvaluationSummary

Object

表示实体的计算结果。

名称	类型	说明
f1	number (double)	表示模型精度
falseNegativeCount	integer (int32)	表示误报计数
falsePositiveCount	integer (int32)	表示误报计数
precision	number (double)	表示模型召回率
recall	number (double)	表示模型 F1 分数
trueNegativeCount	integer (int32)	表示真负数
truePositiveCount	integer (int32)	表示真正计数

ConversationalAnalysisAuthoringEvaluationOptions

Object

表示用于运行评估的选项。

名称	类型	说明
kind	EvaluationKind	表示计算类型。默认情况下，计算类型设置为百分比。
testingSplitPercentage	integer (int32)	表示测试数据集拆分百分比。仅当评估类型为百分比时才需要。
trainingSplitPercentage	integer (int32)	表示训练数据集拆分百分比。仅当评估类型为百分比时才需要。

ConversationalAnalysisAuthoringEvaluationSummary

Object

表示评估结果摘要。

名称	类型	说明
entitiesEvaluation	ConversationalAnalysisAuthoringEntitiesEvaluationSummary	包含与实体评估相关的数据。
evaluationOptions	ConversationalAnalysisAuthoringEvaluationOptions	运行评估时使用的选项。
intentsEvaluation	ConversationalAnalysisAuthoringIntentsEvaluationSummary	包含与意向评估相关的数据。

ConversationalAnalysisAuthoringIntentEvaluationSummary

Object

意向的评估摘要。

名称	类型	说明
f1	number (double)	表示模型精度
falseNegativeCount	integer (int32)	表示误报计数
falsePositiveCount	integer (int32)	表示误报计数
precision	number (double)	表示模型召回率
recall	number (double)	表示模型 F1 分数
trueNegativeCount	integer (int32)	表示真负数
truePositiveCount	integer (int32)	表示真正计数

ConversationalAnalysisAuthoringIntentsEvaluationSummary

Object

表示项目的意向的评估摘要。

名称	类型	说明
confusionMatrix	object	表示两个意向之间的混淆矩阵（两个意向可以相同）。矩阵位于标记的意向和预测的意向之间。
intents	<string, ConversationalAnalysisAuthoringIntentEvaluationSummary>	表示意向评估摘要。
macroF1	number (float)	表示宏 F1
macroPrecision	number (float)	表示宏精度
macroRecall	number (float)	表示宏召回
microF1	number (float)	表示微 F1
microPrecision	number (float)	表示微精度
microRecall	number (float)	表示微召回

Error

Object

错误对象。

名称	类型	说明
code	ErrorCode	服务器定义的错误代码集之一。
details	Error[]	导致此报告错误的特定错误的详细信息数组。
innererror	InnerErrorModel	包含与当前对象有关错误的更具体信息的对象。
message	string	错误的人工可读表示形式。
target	string	错误的目标。

ErrorCode

枚举

人工可读错误代码。

值	说明
AzureCognitiveSearchIndexLimitReached
AzureCognitiveSearchIndexNotFound
AzureCognitiveSearchNotFound
AzureCognitiveSearchThrottling
Conflict
Forbidden
InternalServerError
InvalidArgument
InvalidRequest
NotFound
OperationNotFound
ProjectNotFound
QuotaExceeded
ServiceUnavailable
Timeout
TooManyRequests
Unauthorized
Warning

ErrorResponse

Object

错误响应。

名称	类型	说明
error	Error	错误对象。

EvaluationKind

枚举

表示计算类型。默认情况下，计算类型设置为百分比。

值	说明
manual	根据数据中的每个示例选择的数据集拆分数据。
percentage	根据用户定义的百分比将数据拆分为训练集和测试集。

InnerErrorCode

枚举

人工可读错误代码。

值	说明
AzureCognitiveSearchNotFound
AzureCognitiveSearchThrottling
EmptyRequest
ExtractionFailure
InvalidCountryHint
InvalidDocument
InvalidDocumentBatch
InvalidParameterValue
InvalidRequest
InvalidRequestBodyFormat
KnowledgeBaseNotFound
MissingInputDocuments
ModelVersionIncorrect
UnsupportedLanguageCode

InnerErrorModel

Object

包含有关错误的更具体信息的对象。根据Microsoft一个 API 指南 - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses。

名称	类型	说明
code	InnerErrorCode	服务器定义的错误代码集之一。
details	object	错误详细信息。
innererror	InnerErrorModel	包含与当前对象有关错误的更具体信息的对象。
message	string	错误信息。
target	string	错误目标。

通过

Conversational Analysis Authoring - Get Model Evaluation Summary

URI 参数

请求头

响应

安全性

Ocp-Apim-Subscription-Key

示例

Successful Get Model Evaluation Summary

示例请求

示例响应

定义

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

ConversationalAnalysisAuthoringEntityEvaluationSummary

ConversationalAnalysisAuthoringEvaluationOptions

ConversationalAnalysisAuthoringEvaluationSummary

ConversationalAnalysisAuthoringIntentEvaluationSummary

ConversationalAnalysisAuthoringIntentsEvaluationSummary

Error

ErrorCode

ErrorResponse

EvaluationKind

InnerErrorCode

InnerErrorModel

其他资源