Model Evaluations - Create

Служба:

Azure AI Services

Версия API:

2023-02-01-preview

Оценка существующей модели.

Возвращенные коды состояния:

• 201: операция успешно завершена.
• 400: запрос был неправильно сформирован.
• 409: оценка с указанным именем уже существует.

PUT /models/{name}/evaluations/{evaluationName}?api-version=2023-02-01-preview

Параметры URI

Имя	В	Обязательно	Тип	Описание
evaluationName	path	True	string	Имя, которое можно использовать для уникальной идентификации оценки после ее создания. Шаблон регулярного выражения: ^[a-zA-Z0-9][a-zA-Z0-9._-]*$
name	path	True	string	Имя модели для оценки. Шаблон регулярного выражения: ^[a-zA-Z0-9][a-zA-Z0-9._-]*$
api-version	query	True	string	Запрошенная версия API.

Текст запроса

Media Types: "application/json-patch+json"

Имя	Обязательно	Тип	Описание
evaluationParameters	True	ModelEvaluationParameters	Параметры для указания способа оценки модели.
createdDateTime		string	Только для чтения. Дата и время создания ознакомительного запуска в формате UTC.
error		ErrorResponseDetails	Сведения об ошибке.
modelName		string	Только для чтения. Модель для оценки.
modelPerformance		ModelPerformance	Метрики производительности для пользовательской обученной модели.
name		string	Только для чтения. Имя, которое используется для уникальной идентификации запуска оценки.
status		ModelEvaluationStateApiModel	Только для чтения. Текущее состояние выполнения оценки.
updatedDateTime		string	Только для чтения. Дата и время последнего обновления ознакомительного запуска в формате UTC.

Ответы

Имя	Тип	Описание
201 Created	ModelEvaluation	Создание
Other Status Codes	ErrorResponse	Ошибка Заголовки x-ms-error-code: string

Примеры

ModelEvaluations_Create

Образец запроса

HTTP

PUT /models/my_model_name/evaluations/my_evaluation_name?api-version=2023-02-01-preview

{
  "evaluationParameters": {
    "testDatasetName": "my_test_dataset_name"
  }
}

Пример ответа

Код состояния:

201

{
  "name": "my_evaluation_name",
  "modelName": "my_model_name",
  "createdDateTime": "2023-01-13T20:46:22.127Z",
  "updatedDateTime": "2023-01-13T20:46:22.127Z",
  "status": "notStarted",
  "evaluationParameters": {
    "testDatasetName": "my_test_dataset_name"
  }
}

Определения

Имя	Описание
ErrorResponse	Ответ возвращается при возникновении ошибки.
ErrorResponseDetails	Сведения об ошибке.
ErrorResponseInnerError	Подробная ошибка.
ModelEvaluation	Описывает выполнение оценки для оценки точности модели с помощью тестового набора.
ModelEvaluationParameters	Параметры для указания способа оценки модели.
ModelEvaluationStateApiModel	Только для чтения. Текущее состояние выполнения оценки.
ModelPerformance	Метрики производительности для пользовательской обученной модели.
ModelTagPerformance	Метрики производительности для каждого тега, распознаваемого пользовательской обученной моделью.

ErrorResponse

Ответ возвращается при возникновении ошибки.

Имя	Тип	Описание
error	ErrorResponseDetails	Сведения об ошибке.

ErrorResponseDetails

Сведения об ошибке.

Имя	Тип	Описание
code	string	Код ошибки.
details	ErrorResponseDetails[]	Список подробных ошибок.
innererror	ErrorResponseInnerError	Подробная ошибка.
message	string	Сообщение об ошибке.
target	string	Целевой объект ошибки.

ErrorResponseInnerError

Подробная ошибка.

Имя	Тип	Описание
code	string	Код ошибки.
innererror	ErrorResponseInnerError	Подробная ошибка.
message	string	Сообщение об ошибке.

ModelEvaluation

Описывает выполнение оценки для оценки точности модели с помощью тестового набора.

Имя	Тип	Описание
createdDateTime	string	Только для чтения. Дата и время создания ознакомительного запуска в формате UTC.
error	ErrorResponseDetails	Сведения об ошибке.
evaluationParameters	ModelEvaluationParameters	Параметры для указания способа оценки модели.
modelName	string	Только для чтения. Модель для оценки.
modelPerformance	ModelPerformance	Метрики производительности для пользовательской обученной модели.
name	string	Только для чтения. Имя, которое используется для уникальной идентификации запуска оценки.
status	ModelEvaluationStateApiModel	Только для чтения. Текущее состояние выполнения оценки.
updatedDateTime	string	Только для чтения. Дата и время последнего обновления ознакомительного запуска в формате UTC.

ModelEvaluationParameters

Параметры для указания способа оценки модели.

Имя	Тип	Описание
testDatasetName	string	Имя набора данных, используемого для тестирования.

ModelEvaluationStateApiModel

Только для чтения. Текущее состояние выполнения оценки.

Имя	Тип	Описание
failed	string
notStarted	string
running	string
succeeded	string

ModelPerformance

Метрики производительности для пользовательской обученной модели.

Имя	Тип	Описание
accuracyTop1	number	Только для чтения. Для моделей многоклассовой классификации. Доля тестовых выборок, в которых класс ground truth соответствует прогнозируемму классу.
accuracyTop5	number	Только для чтения. Для моделей многоклассовой классификации. Доля тестовых выборок, в которых класс основной истинности входит в пятерку прогнозируемых классов.
averagePrecision	number	Только для чтения. Мера производительности модели, она суммирует точность и полноту при различных пороговых значениях достоверности.
calibrationECE	number	Только для чтения. Для моделей многоклассовой классификации. Ожидаемая ошибка калибровки.
meanAveragePrecision30	number	Только для чтения. Для моделей обнаружения объектов. Средняя точность при пороговом значении 30 %.
meanAveragePrecision50	number	Только для чтения. Для моделей обнаружения объектов. Средняя точность при пороговом значении 50 %.
meanAveragePrecision75	number	Только для чтения. Для моделей обнаружения объектов. Средняя точность при пороговом значении 75 %.
tagPerformance	<string,  ModelTagPerformance>	Только для чтения. Метрики производительности для каждого тега, распознаваемого моделью.

ModelTagPerformance

Метрики производительности для каждого тега, распознаваемого пользовательской обученной моделью.

Имя	Тип	Описание
accuracy	number	Только для чтения. Для многоклассовых моделей. Точность тегов.
averagePrecision50	number	Только для чтения. Для моделей обнаружения объектов. Средняя точность при пороговом значении 50 %.