Model Evaluations - Create

Služba:

Azure AI Services

Verze rozhraní API:

2023-04-01-preview

Vyhodnocení existujícího modelu

Vrácené stavové kódy:

• 201: Operace byla úspěšně dokončena.
• 400: Požadavek byl poškozen.
• 409: Vyhodnocení se zadaným názvem již existuje.

PUT /models/{name}/evaluations/{evaluationName}?api-version=2023-04-01-preview

Parametry identifikátoru URI

Name	V	Vyžadováno	Typ	Description
evaluationName	path	True	string	Název, který lze použít k jednoznačné identifikaci vyhodnocení po jeho vytvoření. Vzor regulárního výrazu: ^[a-zA-Z0-9][a-zA-Z0-9._-]*$
name	path	True	string	Název modelu, který se má vyhodnotit. Vzor regulárního výrazu: ^[a-zA-Z0-9][a-zA-Z0-9._-]*$
api-version	query	True	string	Požadovaná verze rozhraní API

Text požadavku

Media Types: "application/json-patch+json"

Name	Vyžadováno	Typ	Description
evaluationParameters	True	ModelEvaluationParameters	Parametry pro určení způsobu vyhodnocování modelu
createdDateTime		string	Jen pro čtení. Datum a čas prvního vytvoření zkušebního spuštění ve standardu UTC.
error		ErrorResponseDetails	Informace o chybě.
modelName		string	Jen pro čtení. Model, který se má vyhodnotit.
modelPerformance		ModelPerformance	Metriky výkonu pro vlastní trénovaný model
name		string	Jen pro čtení. Název, který se používá k jednoznačné identifikaci spuštění vyhodnocení.
status		ModelEvaluationState	Jen pro čtení. Aktuální stav zkušebního spuštění.
updatedDateTime		string	Jen pro čtení. Datum a čas poslední aktualizace zkušebního spuštění ve standardu UTC.

Odpovědi

Name	Typ	Description
201 Created	ModelEvaluation	Vytvořeno
Other Status Codes	ErrorResponse	Chyba Hlavičky x-ms-error-code: string

Příklady

ModelEvaluations_Create

Ukázkový požadavek

HTTP

PUT /models/my_model_name/evaluations/my_evaluation_name?api-version=2023-04-01-preview

{
  "evaluationParameters": {
    "testDatasetName": "my_test_dataset_name"
  }
}

Ukázková odpověď

Stavový kód:

201

{
  "name": "my_evaluation_name",
  "modelName": "my_model_name",
  "createdDateTime": "2023-01-13T20:46:22.127Z",
  "updatedDateTime": "2023-01-13T20:46:22.127Z",
  "status": "notStarted",
  "evaluationParameters": {
    "testDatasetName": "my_test_dataset_name"
  }
}

Definice

Name	Description
ErrorResponse	Odpověď vrácená, když dojde k chybě.
ErrorResponseDetails	Informace o chybě.
ErrorResponseInnerError	Podrobná chyba
ModelEvaluation	Popisuje zkušební spuštění pro vyhodnocení přesnosti modelu pomocí testovací sady.
ModelEvaluationParameters	Parametry pro určení způsobu vyhodnocování modelu
ModelEvaluationState	Jen pro čtení. Aktuální stav zkušebního spuštění.
ModelPerformance	Metriky výkonu pro vlastní trénovaný model
ModelTagPerformance	Metriky výkonu pro každou značku rozpoznanou vlastním natrénovaným modelem.

ErrorResponse

Odpověď vrácená, když dojde k chybě.

Name	Typ	Description
error	ErrorResponseDetails	Informace o chybě.

ErrorResponseDetails

Informace o chybě.

Name	Typ	Description
code	string	Kód chyby
details	ErrorResponseDetails[]	Seznam podrobných chyb
innererror	ErrorResponseInnerError	Podrobná chyba
message	string	Zpráva o chybě.
target	string	Cíl chyby.

ErrorResponseInnerError

Podrobná chyba

Name	Typ	Description
code	string	Kód chyby
innererror	ErrorResponseInnerError	Podrobná chyba
message	string	Zpráva o chybě.

ModelEvaluation

Popisuje zkušební spuštění pro vyhodnocení přesnosti modelu pomocí testovací sady.

Name	Typ	Description
createdDateTime	string	Jen pro čtení. Datum a čas prvního vytvoření zkušebního spuštění ve standardu UTC.
error	ErrorResponseDetails	Informace o chybě.
evaluationParameters	ModelEvaluationParameters	Parametry pro určení způsobu vyhodnocování modelu
modelName	string	Jen pro čtení. Model, který se má vyhodnotit.
modelPerformance	ModelPerformance	Metriky výkonu pro vlastní trénovaný model
name	string	Jen pro čtení. Název, který se používá k jednoznačné identifikaci spuštění vyhodnocení.
status	ModelEvaluationState	Jen pro čtení. Aktuální stav zkušebního spuštění.
updatedDateTime	string	Jen pro čtení. Datum a čas poslední aktualizace zkušebního spuštění ve standardu UTC.

ModelEvaluationParameters

Parametry pro určení způsobu vyhodnocování modelu

Name	Typ	Description
testDatasetName	string	Název datové sady, který se používá k testování.

ModelEvaluationState

Jen pro čtení. Aktuální stav zkušebního spuštění.

Name	Typ	Description
failed	string
notStarted	string
running	string
succeeded	string

ModelPerformance

Metriky výkonu pro vlastní trénovaný model

Name	Typ	Description
accuracyTop1	number	Jen pro čtení. Pro klasifikační modely s více třídami. Podíl testovacích vzorků, kde třída základní pravdy odpovídá predikované třídě.
accuracyTop5	number	Jen pro čtení. Pro klasifikační modely s více třídami. Podíl testovacích vzorků, kde se třída základní pravdy nachází v prvních pěti predikovaných třídách.
averagePrecision	number	Jen pro čtení. Míra výkonu modelu shrnuje přesnost a úplnost na různých prahových hodnotách spolehlivosti.
calibrationECE	number	Jen pro čtení. Pro klasifikační modely s více třídami. Byla očekáváná chyba kalibrace.
meanAveragePrecision30	number	Jen pro čtení. Pro modely detekce objektů. Střední průměrná přesnost při prahové hodnotě 30 %.
meanAveragePrecision50	number	Jen pro čtení. Pro modely detekce objektů. Střední průměrná přesnost při prahové hodnotě 50 %.
meanAveragePrecision75	number	Jen pro čtení. Pro modely detekce objektů. Střední průměrná přesnost při prahové hodnotě 75 %.
tagPerformance	<string,  ModelTagPerformance>	Jen pro čtení. Metriky výkonu pro každou značku rozpoznanou modelem.

ModelTagPerformance

Metriky výkonu pro každou značku rozpoznanou vlastním natrénovaným modelem.

Name	Typ	Description
accuracy	number	Jen pro čtení. Pro modely s více třídami. Přesnost značek.
averagePrecision50	number	Jen pro čtení. Pro modely detekce objektů. Průměrná přesnost při prahové hodnotě 50 %.