Model Evaluations - Create

服務:

Azure AI Services

API 版本:

2023-04-01-preview

評估現有的模型。

傳回的狀態代碼：

• 201：作業已順利完成。
• 400：要求格式不正確。
• 409：已存在具有指定名稱的評估。

PUT /models/{name}/evaluations/{evaluationName}?api-version=2023-04-01-preview

URI 參數

名稱	位於	必要	類型	Description
evaluationName	path	True	string	可在建立評估之後用來唯一識別評估的名稱。 Regex 模式: ^[a-zA-Z0-9][a-zA-Z0-9._-]*$
name	path	True	string	要評估的模型名稱。 Regex 模式: ^[a-zA-Z0-9][a-zA-Z0-9._-]*$
api-version	query	True	string	要求的 API 版本。

要求本文

Media Types: "application/json-patch+json"

名稱	必要	類型	Description
evaluationParameters	True	ModelEvaluationParameters	用於指定模型評估方式的參數。
createdDateTime		string	唯讀。 第一次以UTC建立評估執行的日期和時間。
error		ErrorResponseDetails	錯誤資訊。
modelName		string	唯讀。 要評估的模型。
modelPerformance		ModelPerformance	自定義定型模型的效能計量。
name		string	唯讀。 用來唯一識別評估執行的名稱。
status		ModelEvaluationState	唯讀。 評估回合的目前狀態。
updatedDateTime		string	唯讀。 上次更新評估執行的日期和時間，以UTC為單位。

回應

名稱	類型	Description
201 Created	ModelEvaluation	建立時間
Other Status Codes	ErrorResponse	錯誤 標題 x-ms-error-code: string

範例

ModelEvaluations_Create

範例要求

HTTP

PUT /models/my_model_name/evaluations/my_evaluation_name?api-version=2023-04-01-preview

{
  "evaluationParameters": {
    "testDatasetName": "my_test_dataset_name"
  }
}

範例回覆

狀態碼:

201

{
  "name": "my_evaluation_name",
  "modelName": "my_model_name",
  "createdDateTime": "2023-01-13T20:46:22.127Z",
  "updatedDateTime": "2023-01-13T20:46:22.127Z",
  "status": "notStarted",
  "evaluationParameters": {
    "testDatasetName": "my_test_dataset_name"
  }
}

定義

名稱	Description
ErrorResponse	發生錯誤時傳回的回應。
ErrorResponseDetails	錯誤資訊。
ErrorResponseInnerError	詳細的錯誤。
ModelEvaluation	描述使用測試集評估模型精確度的評估回合。
ModelEvaluationParameters	用於指定模型評估方式的參數。
ModelEvaluationState	唯讀。 評估回合的目前狀態。
ModelPerformance	自定義定型模型的效能計量。
ModelTagPerformance	自定義定型模型所辨識之每個標記的效能計量。

ErrorResponse

發生錯誤時傳回的回應。

名稱	類型	Description
error	ErrorResponseDetails	錯誤資訊。

ErrorResponseDetails

錯誤資訊。

名稱	類型	Description
code	string	錯誤碼。
details	ErrorResponseDetails[]	詳細錯誤清單。
innererror	ErrorResponseInnerError	詳細的錯誤。
message	string	錯誤訊息。
target	string	錯誤的目標。

ErrorResponseInnerError

詳細的錯誤。

名稱	類型	Description
code	string	錯誤碼。
innererror	ErrorResponseInnerError	詳細的錯誤。
message	string	錯誤訊息。

ModelEvaluation

描述使用測試集評估模型精確度的評估回合。

名稱	類型	Description
createdDateTime	string	唯讀。 第一次以UTC建立評估執行的日期和時間。
error	ErrorResponseDetails	錯誤資訊。
evaluationParameters	ModelEvaluationParameters	用於指定模型評估方式的參數。
modelName	string	唯讀。 要評估的模型。
modelPerformance	ModelPerformance	自定義定型模型的效能計量。
name	string	唯讀。 用來唯一識別評估執行的名稱。
status	ModelEvaluationState	唯讀。 評估回合的目前狀態。
updatedDateTime	string	唯讀。 上次更新評估執行的日期和時間，以UTC為單位。

ModelEvaluationParameters

用於指定模型評估方式的參數。

名稱	類型	Description
testDatasetName	string	用於測試的數據集名稱。

ModelEvaluationState

唯讀。 評估回合的目前狀態。

名稱	類型	Description
failed	string
notStarted	string
running	string
succeeded	string

ModelPerformance

自定義定型模型的效能計量。

名稱	類型	Description
accuracyTop1	number	唯讀。 針對多類別分類模型。 符合預測類別的測試樣本比例。
accuracyTop5	number	唯讀。 針對多類別分類模型。 測試樣本的比例，其中地面真實類別位於前五個預測類別中。
averagePrecision	number	唯讀。 模型效能的量值，它會摘要說明不同信賴閾值的精確度和召回率。
calibrationECE	number	唯讀。 針對多類別分類模型。 預期的校正錯誤。
meanAveragePrecision30	number	唯讀。 針對物件偵測模型。 閾值為 30% 的平均有效位數。
meanAveragePrecision50	number	唯讀。 針對物件偵測模型。 閾值為 50% 的平均有效位數。
meanAveragePrecision75	number	唯讀。 針對物件偵測模型。 閾值為 75% 的平均有效位數。
tagPerformance	<string,  ModelTagPerformance>	唯讀。 模型所辨識之每個標記的效能計量。

ModelTagPerformance

自定義定型模型所辨識之每個標記的效能計量。

名稱	類型	Description
accuracy	number	唯讀。 針對多類別模型。 標籤精確度。
averagePrecision50	number	唯讀。 針對物件偵測模型。 閾值為 50% 的平均有效位數。