Text Analysis Authoring - Get Model Evaluation Summary

Referência

Serviço:: Azure AI Services

Versão da API:: 2023-04-01

Obtém o resumo de avaliação de um modelo treinado. O resumo inclui medidas de desempenho de alto nível do modelo, por exemplo, F1, Precisão, Recall etc.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

Parâmetros de URI

Nome	Em	Obrigatório	Tipo	Description
Endpoint	path	True	string url	Ponto de extremidade dos Serviços Cognitivos com suporte, por exemplo, https://.api.cognitiveservices.azure.com.
projectName	path	True	string	O nome do projeto a ser usado.
trainedModelLabel	path	True	string	O rótulo de modelo treinado.
api-version	query	True	string	A versão da API a ser usada para esta operação.

Respostas

Nome	Tipo	Description
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	A solicitação foi bem-sucedida.
Other Status Codes	ErrorResponse	Uma resposta de erro inesperada.

Segurança

Ocp-Apim-Subscription-Key

Tipo: apiKey
Em: header

OAuth2Auth

Tipo: oauth2
Flow: accessCode
URL de Autorização: https://login.microsoftonline.com/common/oauth2/authorize
URL do Token: https://login.microsoftonline.com/common/oauth2/token

Escopos

Nome	Description
https://cognitiveservices.azure.com/.default

Exemplos

SuccessfulGetModelEvaluationSummary

Solicitação de exemplo

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

Resposta de exemplo

Código de status:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definições

Nome	Description
Error	O objeto de erro.
ErrorCode	Código de erro legível por humanos.
ErrorResponse	Resposta de erro.
EvaluationKind
InnerErrorCode	Código de erro legível por humanos.
InnerErrorModel	Um objeto que contém informações mais específicas sobre o erro. De acordo com as diretrizes da API do Microsoft One - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	Representa o resumo da avaliação de um projeto de reconhecimento de entidade personalizado.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	Representa o resumo da avaliação de um projeto de classificação de vários rótulos personalizado.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Representa o resumo da avaliação de um projeto de classificação de rótulo único personalizado.
TextAnalysisAuthoringEntityEvaluationSummary	Representa o resumo da avaliação de uma entidade.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Representa o resumo da avaliação de um projeto de reconhecimento de entidade personalizado.
TextAnalysisAuthoringEvaluationOptions	Representa as opções usadas na execução da avaliação.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	Representa o resumo de avaliação de uma classe em um projeto de classificação de vários rótulos.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Representa o resumo da avaliação de um projeto de classificação de vários rótulos.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	Representa o resumo da avaliação de uma classe em um projeto de classificação de rótulo único.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Representa o resumo da avaliação de um projeto de classificação de rótulo único personalizado.

Error

O objeto de erro.

Nome	Tipo	Description
code	ErrorCode	Um de um conjunto definido pelo servidor de códigos de erro.
details	Error[]	Uma matriz de detalhes sobre erros específicos que levaram a esse erro relatado.
innererror	InnerErrorModel	Um objeto que contém informações mais específicas do que o objeto atual sobre o erro.
message	string	Uma representação legível pelo ser humano do erro.
target	string	O destino do erro.

ErrorCode

Código de erro legível por humanos.

Nome	Tipo	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Resposta de erro.

Nome	Tipo	Description
error	Error	O objeto de erro.

EvaluationKind

Nome	Tipo	Description
manual	string	Divida os dados de acordo com o conjunto de dados escolhido para cada exemplo nos dados.
percentage	string	Divida os dados em conjuntos de treinamento e teste de acordo com os percentuais definidos pelo usuário.

InnerErrorCode

Código de erro legível por humanos.

Nome	Tipo	Description
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

Um objeto que contém informações mais específicas sobre o erro. De acordo com as diretrizes da API do Microsoft One - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Nome	Tipo	Description
code	InnerErrorCode	Um de um conjunto definido pelo servidor de códigos de erro.
details	object	Detalhes do erro.
innererror	InnerErrorModel	Um objeto que contém informações mais específicas do que o objeto atual sobre o erro.
message	string	Mensagem de erro.
target	string	Destino de erro.

ProjectKind

Nome	Tipo	Description
CustomEntityRecognition	string	Para criar um modelo de extração para identificar suas categorias de domínio usando seus próprios dados.
CustomMultiLabelClassification	string	Para criar um modelo de classificação para classificar o texto usando seus próprios dados. Cada arquivo pode ter um ou muitos rótulos. Por exemplo, o arquivo 1 é classificado como A, B e C e o arquivo 2 são classificados como B e C.
CustomSingleLabelClassification	string	Para criar um modelo de classificação para classificar o texto usando seus próprios dados. Cada arquivo terá apenas um rótulo. Por exemplo, o arquivo 1 é classificado como A e o arquivo 2 é classificado como B.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Representa o resumo da avaliação de um projeto de reconhecimento de entidade personalizado.

Nome	Tipo	Description
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Contém os dados relacionados à avaliação de extração.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Representa as opções usadas na execução da avaliação.
projectKind	string: CustomEntityRecognition	Representa o tipo de projeto em que a avaliação foi executada.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Representa o resumo da avaliação de um projeto de classificação de vários rótulos personalizado.

Nome	Tipo	Description
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Contém os dados relacionados à avaliação de classificação de vários rótulos.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Representa as opções usadas na execução da avaliação.
projectKind	string: CustomMultiLabelClassification	Representa o tipo de projeto em que a avaliação foi executada.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Representa o resumo da avaliação de um projeto de classificação de rótulo único personalizado.

Nome	Tipo	Description
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Contém os dados relacionados à avaliação de classificação de rótulo único.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Representa as opções usadas na execução da avaliação.
projectKind	string: CustomSingleLabelClassification	Representa o tipo de projeto em que a avaliação foi executada.

TextAnalysisAuthoringEntityEvaluationSummary

Representa o resumo da avaliação de uma entidade.

Nome	Tipo	Description
f1	number	Representa a precisão do modelo
falseNegativeCount	integer	Representa a contagem de falsos negativos
falsePositiveCount	integer	Representa a contagem de falsos positivos
precision	number	Representa o recall do modelo
recall	number	Representa a pontuação F1 do modelo
trueNegativeCount	integer	Representa a contagem de verdadeiros negativos
truePositiveCount	integer	Representa a contagem de verdadeiros positivos

TextAnalysisAuthoringEntityRecognitionEvaluationSummary