Conversational Analysis Authoring - Get Model Evaluation Summary

參考

服務:: Azure AI Services

API 版本:: 2022-05-01

取得定型模型的評估摘要。摘要包含模型的高階效能測量，例如 F1、精確度、召回率等。

GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2022-05-01

URI 參數

名稱	位於	必要	類型	Description
Endpoint	path	True	string	支援的認知服務端點 (例如 https://.api.cognitiveservices.azure.com).
projectName	path	True	string	要使用的項目名稱。
trainedModelLabel	path	True	string	定型的模型標籤。
api-version	query	True	string	用戶端 API 版本。

要求標頭

名稱	必要	類型	Description
Ocp-Apim-Subscription-Key	True	string	語言服務資源的訂用帳戶金鑰。

回應

名稱	類型	Description
200 OK	ConversationalAnalysisAuthoringEvaluationSummary	所有評估結果的清單。
Other Status Codes	ErrorResponse	錯誤回應。

安全性

Ocp-Apim-Subscription-Key

語言服務資源的訂用帳戶金鑰。

類型: apiKey
位於: header

範例

Successful Get Model Evaluation Summary

範例要求

HTTP

GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2022-05-01

範例回覆

狀態碼:: 200

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "Attachment": {
        "Attachment": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      },
      "Category": {
        "Category": {
          "normalizedValue": 91.666664,
          "rawValue": 11
        },
        "$none": {
          "normalizedValue": 8.333333,
          "rawValue": 1
        }
      },
      "ContactName": {
        "ContactName": {
          "normalizedValue": 91.666664,
          "rawValue": 22
        },
        "SenderName": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        },
        "$none": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "EmailSubject": {
        "EmailSubject": {
          "normalizedValue": 93.33333,
          "rawValue": 9.333334
        },
        "$none": {
          "normalizedValue": 6.6666665,
          "rawValue": 0.6666667
        }
      },
      "FromRelationshipName": {
        "FromRelationshipName": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "Line": {
        "Line": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "Message": {
        "Message": {
          "normalizedValue": 81.2063,
          "rawValue": 6.496504
        },
        "EmailSubject": {
          "normalizedValue": 7.43007,
          "rawValue": 0.5944056
        },
        "$none": {
          "normalizedValue": 9.120047,
          "rawValue": 0.7296037
        },
        "Date": {
          "normalizedValue": 2.2435899,
          "rawValue": 0.17948718
        }
      },
      "OrderReference": {
        "OrderReference": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "PositionReference": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "RelationshipName": {
        "RelationshipName": {
          "normalizedValue": 66.666664,
          "rawValue": 2
        },
        "$none": {
          "normalizedValue": 33.333332,
          "rawValue": 1
        }
      },
      "SearchTexts": {
        "SearchTexts": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "SenderName": {
        "SenderName": {
          "normalizedValue": 88.888885,
          "rawValue": 8
        },
        "ContactName": {
          "normalizedValue": 11.111111,
          "rawValue": 1
        }
      },
      "Time": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.739265,
          "rawValue": 162.575
        },
        "Category": {
          "normalizedValue": 0.2607362,
          "rawValue": 0.425
        }
      }
    },
    "entities": {
      "ContactName": {
        "f1": 0.9361702799797058,
        "precision": 0.95652174949646,
        "recall": 0.9166666865348816,
        "truePositiveCount": 22,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 2
      },
      "Category": {
        "f1": 0.8799999952316284,
        "precision": 0.8461538553237915,
        "recall": 0.9166666865348816,
        "truePositiveCount": 11,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "SenderName": {
        "f1": 0.8888888955116272,
        "precision": 0.8888888955116272,
        "recall": 0.8888888955116272,
        "truePositiveCount": 8,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      },
      "EmailSubject": {
        "f1": 0.8181817531585693,
        "precision": 0.75,
        "recall": 0.8999999761581421,
        "truePositiveCount": 9,
        "trueNegativeCount": 0,
        "falsePositiveCount": 3,
        "falseNegativeCount": 1
      },
      "Message": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 6,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 2
      },
      "Date": {
        "f1": 0.800000011920929,
        "precision": 0.6666666865348816,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 0
      },
      "OrderReference": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchTexts": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Attachment": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "RelationshipName": {
        "f1": 0.800000011920929,
        "precision": 1,
        "recall": 0.6666666865348816,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      },
      "Line": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Time": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 2
      },
      "FromRelationshipName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "PositionReference": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.8923077,
    "microPrecision": 0.8969072,
    "microRecall": 0.8877551,
    "macroF1": 0.7766601,
    "macroPrecision": 0.7755879,
    "macroRecall": 0.78849214
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "AddFlag": {
        "AddFlag": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "AddMore": {
        "AddMore": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "Cancel": {
        "Cancel": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "CheckMessages": {
        "CheckMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "Confirm": {
        "Confirm": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Delete": {
        "Delete": {
          "normalizedValue": 100,
          "rawValue": 5
        }
      },
      "Forward": {
        "Forward": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "None": {
        "None": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "QueryLastText": {
        "QueryLastText": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "ReadAloud": {
        "ReadAloud": {
          "normalizedValue": 100,
          "rawValue": 16
        }
      },
      "Reply": {
        "Reply": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "SearchMessages": {
        "SearchMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "SendEmail": {
        "SendEmail": {
          "normalizedValue": 100,
          "rawValue": 20
        }
      },
      "ShowNext": {
        "ShowNext": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "ShowPrevious": {
        "ShowPrevious": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      }
    },
    "intents": {
      "AddMore": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 104,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Cancel": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SendEmail": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 20,
        "trueNegativeCount": 101,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "CheckMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "AddFlag": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Reply": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ReadAloud": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 16,
        "trueNegativeCount": 105,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "QueryLastText": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Delete": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 5,
        "trueNegativeCount": 116,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Forward": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Confirm": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowNext": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowPrevious": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 118,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "None": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 120,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      }
    },
    "microF1": 1,
    "microPrecision": 1,
    "microRecall": 1,
    "macroF1": 1,
    "macroPrecision": 1,
    "macroRecall": 1
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

定義

名稱	Description
ConversationalAnalysisAuthoringEntitiesEvaluationSummary	代表項目實體的評估結果摘要。
ConversationalAnalysisAuthoringEntityEvaluationSummary	表示實體的評估結果。
ConversationalAnalysisAuthoringEvaluationOptions	表示執行評估時所使用的選項。
ConversationalAnalysisAuthoringEvaluationSummary	表示評估結果摘要。
ConversationalAnalysisAuthoringIntentEvaluationSummary	意圖的評估摘要。
ConversationalAnalysisAuthoringIntentsEvaluationSummary	代表專案意圖的評估摘要。
Error	error 物件。
ErrorCode	人類可讀取的錯誤碼。
ErrorResponse	錯誤回應。
EvaluationKind	表示評估種類。根據預設，評估種類會設定為百分比。
InnerErrorCode	人類可讀取的錯誤碼。
InnerErrorModel	物件，包含錯誤的詳細資訊。根據 Microsoft One API 指導方針 - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses。

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

代表項目實體的評估結果摘要。

名稱	類型	Description
confusionMatrix	object	表示兩個實體之間的混淆矩陣， (兩個實體可以是相同的) 。矩陣介於標示的實體與預測的實體之間。
entities	<string, ConversationalAnalysisAuthoringEntityEvaluationSummary>	表示實體評估摘要。
macroF1	number	代表宏 F1
macroPrecision	number	表示宏有效位數
macroRecall	number	代表宏召回率
microF1	number	代表 micro F1
microPrecision	number	表示微精確度
microRecall	number	代表微召回率

ConversationalAnalysisAuthoringEntityEvaluationSummary

表示實體的評估結果。

名稱	類型	Description
f1	number	表示模型精確度
falseNegativeCount	integer	表示誤判的計數
falsePositiveCount	integer	表示誤判計數
precision	number	代表模型召回率
recall	number	代表模型 F1 分數
trueNegativeCount	integer	表示 true 負數的計數
truePositiveCount	integer	表示真正數的計數

ConversationalAnalysisAuthoringEvaluationOptions

表示執行評估時所使用的選項。

名稱	類型	Description
kind	EvaluationKind	表示評估種類。根據預設，評估種類會設定為百分比。
testingSplitPercentage	integer	表示測試數據集分割百分比。只有在評估種類為百分比時才需要。
trainingSplitPercentage	integer	表示定型數據集分割百分比。只有在評估種類為百分比時才需要。

ConversationalAnalysisAuthoringEvaluationSummary

表示評估結果摘要。

名稱	類型	Description
entitiesEvaluation	ConversationalAnalysisAuthoringEntitiesEvaluationSummary	包含與實體評估相關的數據。
evaluationOptions	ConversationalAnalysisAuthoringEvaluationOptions	執行評估時所使用的選項。
intentsEvaluation	ConversationalAnalysisAuthoringIntentsEvaluationSummary	包含與意圖評估相關的數據。

ConversationalAnalysisAuthoringIntentEvaluationSummary

意圖的評估摘要。

名稱	類型	Description
f1	number	表示模型精確度
falseNegativeCount	integer	表示誤判的計數
falsePositiveCount	integer	表示誤判計數
precision	number	代表模型召回率
recall	number	代表模型 F1 分數
trueNegativeCount	integer	表示 true 負數的計數
truePositiveCount	integer	表示真正數的計數

ConversationalAnalysisAuthoringIntentsEvaluationSummary

代表專案意圖的評估摘要。

名稱	類型	Description
confusionMatrix	object	表示兩個意圖之間的混淆矩陣， (兩個意圖可以是相同的) 。矩陣介於標示的意圖與預測的意圖之間。
intents	<string, ConversationalAnalysisAuthoringIntentEvaluationSummary>	表示意圖評估摘要。
macroF1	number	代表宏 F1
macroPrecision	number	表示宏有效位數
macroRecall	number	代表宏召回率
microF1	number	代表 micro F1
microPrecision	number	表示微精確度
microRecall	number	代表微召回率

Error

error 物件。

名稱	類型	Description
code	ErrorCode	其中一組伺服器定義的錯誤碼。
details	Error[]	導致此錯誤之特定錯誤的詳細數據陣列。
innererror	InnerErrorModel	物件，包含比目前對象有關錯誤更具體的資訊。
message	string	人類可讀取的錯誤表示法。
target	string	錯誤的目標。

ErrorCode

人類可讀取的錯誤碼。

名稱	類型	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

錯誤回應。

名稱	類型	Description
error	Error	error 物件。

EvaluationKind

表示評估種類。根據預設，評估種類會設定為百分比。

名稱	類型	Description
manual	string	根據所選取資料集分割數據，以取得資料中的每個範例。
percentage	string	根據使用者定義的百分比，將數據分割成定型和測試集。

InnerErrorCode

人類可讀取的錯誤碼。

名稱	類型	Description
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

物件，包含錯誤的詳細資訊。根據 Microsoft One API 指導方針 - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses。

名稱	類型	Description
code	InnerErrorCode	其中一組伺服器定義的錯誤碼。
details	object	錯誤詳細數據。
innererror	InnerErrorModel	物件，包含比目前對象有關錯誤更具體的資訊。
message	string	錯誤訊息。
target	string	錯誤目標。

共用方式為

Conversational Analysis Authoring - Get Model Evaluation Summary

URI 參數

要求標頭

回應

安全性

Ocp-Apim-Subscription-Key

範例

Successful Get Model Evaluation Summary

範例要求

範例回覆

定義

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

ConversationalAnalysisAuthoringEntityEvaluationSummary

ConversationalAnalysisAuthoringEvaluationOptions

ConversationalAnalysisAuthoringEvaluationSummary

ConversationalAnalysisAuthoringIntentEvaluationSummary

ConversationalAnalysisAuthoringIntentsEvaluationSummary

Error

ErrorCode

ErrorResponse

EvaluationKind

InnerErrorCode

InnerErrorModel

其他資源