Text Analysis Authoring - Get Model Evaluation Summary

Ссылка

Служба:: Azure AI Services

Версия API:: 2023-04-01

Возвращает сводку по оценке обученной модели. Сводка включает в себя высокоуровневые измерения производительности модели, например F1, Точность, отзыв и т. д.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

Параметры URI

Имя	В	Обязательно	Тип	Описание
Endpoint	path	True	string url	Поддерживаемая конечная точка Cognitive Services, например https://.api.cognitiveservices.azure.com.
projectName	path	True	string	Имя используемого проекта.
trainedModelLabel	path	True	string	Метка обученной модели.
api-version	query	True	string	Версия API, используемая для этой операции.

Ответы

Имя	Тип	Описание
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Запрос выполнен успешно.
Other Status Codes	ErrorResponse	Непредвиденное сообщение об ошибке.

Безопасность

Ocp-Apim-Subscription-Key

Тип: apiKey
В: header

OAuth2Auth

Тип: oauth2
Flow: accessCode
URL-адрес авторизации: https://login.microsoftonline.com/common/oauth2/authorize
URL-адрес токена: https://login.microsoftonline.com/common/oauth2/token

Области

Имя	Описание
https://cognitiveservices.azure.com/.default

Примеры

SuccessfulGetModelEvaluationSummary

Образец запроса

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

Пример ответа

Код состояния:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Определения

Имя	Описание
Error	Объект ошибки.
ErrorCode	Код ошибки, доступный для чтения человеком.
ErrorResponse	Ответ на ошибку.
EvaluationKind
InnerErrorCode	Код ошибки, доступный для чтения человеком.
InnerErrorModel	Объект, содержащий более конкретные сведения об ошибке. В соответствии с рекомендациями по API Microsoft One — https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	Представляет сводку оценки для проекта распознавания пользовательских сущностей.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	Представляет сводку оценки для пользовательского проекта классификации нескольких меток.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Представляет сводку по оценке для пользовательского проекта классификации одноклеек.
TextAnalysisAuthoringEntityEvaluationSummary	Представляет сводку оценки для сущности.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Представляет сводку оценки для проекта распознавания пользовательских сущностей.
TextAnalysisAuthoringEvaluationOptions	Представляет параметры, используемые при выполнении оценки.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	Представляет сводку по оценке класса в проекте классификации с несколькими метками.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Представляет сводку оценки для проекта классификации нескольких меток.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	Представляет сводку оценки для класса в проекте классификации одноклеек.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Представляет сводку по оценке для пользовательского проекта классификации одноклеек.

Error

Объект ошибки.

Имя	Тип	Описание
code	ErrorCode	Один из определяемых сервером кодов ошибок.
details	Error[]	Массив сведений об определенных ошибках, которые привели к этой сообщаемой ошибке.
innererror	InnerErrorModel	Объект, содержащий более конкретные сведения, чем текущий объект об ошибке.
message	string	Читаемое пользователем представление ошибки.
target	string	Целевой объект ошибки.

ErrorCode

Код ошибки, доступный для чтения человеком.

Имя	Тип	Описание
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Ответ на ошибку.

Имя	Тип	Описание
error	Error	Объект ошибки.

EvaluationKind

Имя	Тип	Описание
manual	string	Разделите данные в соответствии с выбранным набором данных для каждого примера данных.
percentage	string	Разделить данные на наборы для обучения и тестирования в соответствии с определяемыми пользователем процентными значениями.

InnerErrorCode

Код ошибки, доступный для чтения человеком.

Имя	Тип	Описание
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

Объект, содержащий более конкретные сведения об ошибке. В соответствии с рекомендациями по API Microsoft One — https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Имя	Тип	Описание
code	InnerErrorCode	Один из определяемых сервером кодов ошибок.
details	object	Сведения об ошибке.
innererror	InnerErrorModel	Объект, содержащий более конкретные сведения, чем текущий объект об ошибке.
message	string	Сообщение об ошибке.
target	string	Целевой объект ошибки.

ProjectKind

Имя	Тип	Описание
CustomEntityRecognition	string	Для создания модели извлечения для идентификации категорий домена с помощью собственных данных.
CustomMultiLabelClassification	string	Для создания модели классификации для классификации текста с помощью собственных данных. Каждый файл может иметь одну или несколько меток. Например, файл 1 классифицируется как A, B и C, а файл 2 классифицируется как B и C.
CustomSingleLabelClassification	string	Для создания модели классификации для классификации текста с помощью собственных данных. Каждый файл будет иметь только одну метку. Например, файл 1 классифицируется как A, а файл 2 классифицируется как B.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Представляет сводку оценки для проекта распознавания пользовательских сущностей.

Имя	Тип	Описание
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Содержит данные, связанные с вычислением извлечения.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Представляет параметры, используемые при выполнении оценки.
projectKind	string: CustomEntityRecognition	Представляет тип проекта, на который выполнена оценка.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Представляет сводку оценки для пользовательского проекта классификации нескольких меток.

Имя	Тип	Описание
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Содержит данные, связанные с оценкой классификации нескольких меток.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Представляет параметры, используемые при выполнении оценки.
projectKind	string: CustomMultiLabelClassification	Представляет тип проекта, на который выполнена оценка.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Представляет сводку по оценке для пользовательского проекта классификации одноклеек.

Имя	Тип	Описание
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Содержит данные, связанные с оценкой классификации отдельных меток.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Представляет параметры, используемые при выполнении оценки.
projectKind	string: CustomSingleLabelClassification	Представляет тип проекта, на который выполнена оценка.

TextAnalysisAuthoringEntityEvaluationSummary

Представляет сводку оценки для сущности.

Имя	Тип	Описание
f1	number	Представляет точность модели
falseNegativeCount	integer	Представляет количество ложных отрицательных значений
falsePositiveCount	integer	Представляет количество ложноположительных срабатываний
precision	number	Представляет отзыв модели
recall	number	Представляет оценку модели F1
trueNegativeCount	integer	Представляет число истинных отрицательных
truePositiveCount	integer	Представляет количество истинных положительных результатов

TextAnalysisAuthoringEntityRecognitionEvaluationSummary