Text Analysis Authoring - Get Model Evaluation Summary

Ссылка

Служба:: Azure AI Services

Версия API:: 2022-05-01

Возвращает сводку по оценке обученной модели. Сводка включает в себя высокоуровневые измерения производительности модели, например F1, Точность, отзыв и т. д.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2022-05-01

Параметры URI

Имя	В	Обязательно	Тип	Описание
Endpoint	path	True	string	Поддерживаемая конечная точка Cognitive Services (например, https://.api.cognitiveservices.azure.com).
projectName	path	True	string maxLength: 100	Имя используемого проекта.
trainedModelLabel	path	True	string	Метка обученной модели.
api-version	query	True	string	Версия КЛИЕНТСКОго API.

Заголовок запроса

Имя	Обязательно	Тип	Описание
Ocp-Apim-Subscription-Key	True	string	Ключ подписки для ресурса службы языка.

Ответы

Имя	Тип	Описание
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Список всех результатов оценки.
Other Status Codes	ErrorResponse	Ответ на ошибку.

Безопасность

Ocp-Apim-Subscription-Key

Ключ подписки для ресурса службы языка.

Тип: apiKey
В: header

Примеры

Successful Get Model Evaluation Summary

Образец запроса

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2022-05-01

Пример ответа

Код состояния:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Определения

Имя	Описание
Error	Объект ошибки.
ErrorCode	Код ошибки, доступный для чтения человеком.
ErrorResponse	Ответ на ошибку.
EvaluationKind	Представляет тип оценки. По умолчанию для типа оценки задано значение процента.
InnerErrorCode	Код ошибки, доступный для чтения человеком.
InnerErrorModel	Объект, содержащий более конкретные сведения об ошибке. В соответствии с рекомендациями по API Microsoft One — https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind	Тип проекта.
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	Представляет сводку оценки для проекта распознавания пользовательских сущностей.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	Представляет сводку оценки для пользовательского проекта классификации нескольких меток.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Представляет сводку по оценке для пользовательского проекта классификации одноклеек.
TextAnalysisAuthoringEntityEvaluationSummary	Представляет сводку оценки для сущности.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Представляет сводку оценки для проекта распознавания пользовательских сущностей.
TextAnalysisAuthoringEvaluationOptions	Представляет параметры, используемые при выполнении оценки.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	Представляет сводку по оценке класса в проекте классификации с несколькими метками.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Представляет сводку оценки для проекта классификации нескольких меток.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	Представляет сводку оценки для класса в проекте классификации одноклеек.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Представляет сводку по оценке для пользовательского проекта классификации одноклеек.

Error

Object

Объект ошибки.

Имя	Тип	Описание
code	ErrorCode	Один из определяемых сервером кодов ошибок.
details	Error[]	Массив сведений об определенных ошибках, которые привели к этой сообщаемой ошибке.
innererror	InnerErrorModel	Объект, содержащий более конкретные сведения, чем текущий объект об ошибке.
message	string	Читаемое пользователем представление ошибки.
target	string	Целевой объект ошибки.

ErrorCode

Перечисление

Код ошибки, доступный для чтения человеком.

Значение	Описание
AzureCognitiveSearchIndexLimitReached
AzureCognitiveSearchIndexNotFound
AzureCognitiveSearchNotFound
AzureCognitiveSearchThrottling
Conflict
Forbidden
InternalServerError
InvalidArgument
InvalidRequest
NotFound
OperationNotFound
ProjectNotFound
QuotaExceeded
ServiceUnavailable
Timeout
TooManyRequests
Unauthorized
Warning

ErrorResponse

Object

Ответ на ошибку.

Имя	Тип	Описание
error	Error	Объект ошибки.

EvaluationKind

Перечисление

Представляет тип оценки. По умолчанию для типа оценки задано значение процента.

Значение	Описание
manual	Разделите данные в соответствии с выбранным набором данных для каждого примера данных.
percentage	Разделить данные на наборы для обучения и тестирования в соответствии с определяемыми пользователем процентными значениями.

InnerErrorCode

Перечисление

Код ошибки, доступный для чтения человеком.

Значение	Описание
AzureCognitiveSearchNotFound
AzureCognitiveSearchThrottling
EmptyRequest
ExtractionFailure
InvalidCountryHint
InvalidDocument
InvalidDocumentBatch
InvalidParameterValue
InvalidRequest
InvalidRequestBodyFormat
KnowledgeBaseNotFound
MissingInputDocuments
ModelVersionIncorrect
UnsupportedLanguageCode

InnerErrorModel

Object

Объект, содержащий более конкретные сведения об ошибке. В соответствии с рекомендациями по API Microsoft One — https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Имя	Тип	Описание
code	InnerErrorCode	Один из определяемых сервером кодов ошибок.
details	object	Сведения об ошибке.
innererror	InnerErrorModel	Объект, содержащий более конкретные сведения, чем текущий объект об ошибке.
message	string	Сообщение об ошибке.
target	string	Целевой объект ошибки.

ProjectKind

Перечисление

Тип проекта.

Значение	Описание
CustomEntityRecognition	Для создания модели извлечения для идентификации категорий домена с помощью собственных данных.
CustomMultiLabelClassification	Для создания модели классификации для классификации текста с помощью собственных данных. Каждый файл может иметь одну или несколько меток. Например, файл 1 классифицируется как A, B и C, а файл 2 классифицируется как B и C.
CustomSingleLabelClassification	Для создания модели классификации для классификации текста с помощью собственных данных. Каждый файл будет иметь только одну метку. Например, файл 1 классифицируется как A, а файл 2 классифицируется как B.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Object

Представляет сводку оценки для проекта распознавания пользовательских сущностей.

Имя	Тип	Описание
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Содержит данные, связанные с вычислением извлечения.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Представляет параметры, используемые при выполнении оценки.
projectKind	string: CustomEntityRecognition	Представляет тип проекта, на который выполнена оценка.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Object

Представляет сводку оценки для пользовательского проекта классификации нескольких меток.

Имя	Тип	Описание
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Содержит данные, связанные с оценкой классификации нескольких меток.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Представляет параметры, используемые при выполнении оценки.
projectKind	string: CustomMultiLabelClassification	Представляет тип проекта, на который выполнена оценка.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Object

Представляет сводку по оценке для пользовательского проекта классификации одноклеек.

Имя	Тип	Описание
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Содержит данные, связанные с оценкой классификации отдельных меток.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Представляет параметры, используемые при выполнении оценки.
projectKind	string: CustomSingleLabelClassification	Представляет тип проекта, на который выполнена оценка.

TextAnalysisAuthoringEntityEvaluationSummary

Object

Представляет сводку оценки для сущности.

Имя	Тип	Описание
f1	number (double)	Представляет точность модели
falseNegativeCount	integer (int32)	Представляет количество ложных отрицательных значений
falsePositiveCount	integer (int32)	Представляет количество ложноположительных срабатываний
precision	number (double)	Представляет отзыв модели
recall	number (double)	Представляет оценку модели F1
trueNegativeCount	integer (int32)	Представляет число истинных отрицательных
truePositiveCount	integer (int32)	Представляет количество истинных положительных результатов

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

Object

Представляет сводку оценки для проекта распознавания пользовательских сущностей.

Имя	Тип	Описание
confusionMatrix	object	Представляет матрицу путаницы между двумя сущностями (две сущности могут быть одинаковыми). Матрица находится между сущностью, помеченной и прогнозируемой сущностью.
entities	<string, TextAnalysisAuthoringEntityEvaluationSummary>	Представляет оценку сущностей
macroF1	number (float)	Представляет макрос F1
macroPrecision	number (float)	Представляет точность макроса
macroRecall	number (float)	Представляет отзыв макроса
microF1	number (float)	Представляет микро F1
microPrecision	number (float)	Представляет микро точность
microRecall	number (float)	Представляет микровызовку

TextAnalysisAuthoringEvaluationOptions

Object

Представляет параметры, используемые при выполнении оценки.

Имя	Тип	Описание
kind	EvaluationKind	Представляет тип оценки. По умолчанию для типа оценки задано значение процента.
testingSplitPercentage	integer (int32)	Представляет процент разделения набора данных тестирования. Требуется только в том случае, если тип оценки является процентом.
trainingSplitPercentage	integer (int32)	Представляет процент разделения набора данных обучения. Требуется только в том случае, если тип оценки является процентом.

TextAnalysisAuthoringMultiLabelClassEvaluationSummary

Object

Представляет сводку по оценке класса в проекте классификации с несколькими метками.

Имя	Тип	Описание
f1	number (double)	Представляет точность модели
falseNegativeCount	integer (int32)	Представляет количество ложных отрицательных значений
falsePositiveCount	integer (int32)	Представляет количество ложноположительных срабатываний
precision	number (double)	Представляет отзыв модели
recall	number (double)	Представляет оценку модели F1
trueNegativeCount	integer (int32)	Представляет число истинных отрицательных
truePositiveCount	integer (int32)	Представляет количество истинных положительных результатов

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

Object

Представляет сводку оценки для проекта классификации нескольких меток.

Имя	Тип	Описание
classes	<string, TextAnalysisAuthoringMultiLabelClassEvaluationSummary>	Представляет оценку классов
macroF1	number (float)	Представляет макрос F1
macroPrecision	number (float)	Представляет точность макроса
macroRecall	number (float)	Представляет отзыв макроса
microF1	number (float)	Представляет микро F1
microPrecision	number (float)	Представляет микро точность
microRecall	number (float)	Представляет микровызовку

TextAnalysisAuthoringSingleLabelClassEvaluationSummary

Object

Представляет сводку оценки для класса в проекте классификации одноклеек.

Имя	Тип	Описание
f1	number (double)	Представляет точность модели
falseNegativeCount	integer (int32)	Представляет количество ложных отрицательных значений
falsePositiveCount	integer (int32)	Представляет количество ложноположительных срабатываний
precision	number (double)	Представляет отзыв модели
recall	number (double)	Представляет оценку модели F1
trueNegativeCount	integer (int32)	Представляет число истинных отрицательных
truePositiveCount	integer (int32)	Представляет количество истинных положительных результатов

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

Object

Представляет сводку по оценке для пользовательского проекта классификации одноклеек.

Имя	Тип	Описание
classes	<string, TextAnalysisAuthoringSingleLabelClassEvaluationSummary>	Представляет оценку классов
confusionMatrix	object	Представляет матрицу путаницы между двумя классами (два класса могут быть одинаковыми). Матрица находится между классом, помеченным и прогнозируемым классом.
macroF1	number (float)	Представляет макрос F1
macroPrecision	number (float)	Представляет точность макроса
macroRecall	number (float)	Представляет отзыв макроса
microF1	number (float)	Представляет микро F1
microPrecision	number (float)	Представляет микро точность
microRecall	number (float)	Представляет микровызовку

Поделиться через

Text Analysis Authoring - Get Model Evaluation Summary

Параметры URI

Заголовок запроса

Ответы

Безопасность

Ocp-Apim-Subscription-Key

Примеры

Successful Get Model Evaluation Summary

Образец запроса

Пример ответа

Определения

Error

ErrorCode

ErrorResponse

EvaluationKind

InnerErrorCode

InnerErrorModel

ProjectKind

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

TextAnalysisAuthoringEntityEvaluationSummary

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

TextAnalysisAuthoringEvaluationOptions

TextAnalysisAuthoringMultiLabelClassEvaluationSummary

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

TextAnalysisAuthoringSingleLabelClassEvaluationSummary

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

Дополнительные ресурсы