Text Analysis Authoring - Get Model Evaluation Summary

Referencia

Servicio:: Azure AI Services

Versión de la API:: 2023-04-01

Obtiene el resumen de evaluación de un modelo entrenado. El resumen incluye medidas de alto rendimiento del modelo, por ejemplo, F1, Precisión, Recuperación, etc.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

Parámetros de identificador URI

Nombre	En	Requerido	Tipo	Description
Endpoint	path	True	string url	Punto de conexión de Cognitive Services compatible (por ejemplo, https://.api.cognitiveservices.azure.com).
projectName	path	True	string	Nombre del proyecto que se va a usar.
trainedModelLabel	path	True	string	Etiqueta del modelo entrenado.
api-version	query	True	string	Versión de la API que se va a usar para esta operación.

Respuestas

Nombre	Tipo	Description
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	La solicitud se ha realizado correctamente.
Other Status Codes	ErrorResponse	Una respuesta de error inesperada.

Seguridad

Ocp-Apim-Subscription-Key

Tipo: apiKey
En: header

OAuth2Auth

Tipo: oauth2
Flujo: accessCode
Dirección URL de autorización: https://login.microsoftonline.com/common/oauth2/authorize
Dirección URL del token: https://login.microsoftonline.com/common/oauth2/token

Ámbitos

Nombre	Description
https://cognitiveservices.azure.com/.default

Ejemplos

SuccessfulGetModelEvaluationSummary

Solicitud de ejemplo

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

Respuesta de muestra

status code:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definiciones

Nombre	Description
Error	Objeto de error.
ErrorCode	Código de error legible para personas.
ErrorResponse	Respuesta de error.
EvaluationKind
EvaluationOptions	Representa las opciones usadas para ejecutar la evaluación.
InnerErrorCode	Código de error legible para personas.
InnerErrorModel	Objeto que contiene información más específica sobre el error. Según las directrices de la API de Microsoft One: https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	Representa el resumen de evaluación de un proyecto de reconocimiento de entidades personalizado.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	Representa el resumen de evaluación de un proyecto de clasificación de varias etiquetas personalizado.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Representa el resumen de evaluación de un proyecto de clasificación de una sola etiqueta personalizada.
TextAnalysisAuthoringEntityEvaluationSummary	Representa el resumen de evaluación de una entidad.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Representa el resumen de evaluación de un proyecto de reconocimiento de entidades personalizado.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	Representa el resumen de evaluación de una clase en un proyecto de clasificación de varias etiquetas.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Representa el resumen de evaluación de un proyecto de clasificación de varias etiquetas.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	Representa el resumen de evaluación de una clase en un proyecto de clasificación de etiqueta única.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Representa el resumen de evaluación de un proyecto de clasificación de una sola etiqueta personalizada.

Error

Objeto de error.

Nombre	Tipo	Description
code	ErrorCode	Uno de un conjunto definido por el servidor de códigos de error.
details	Error[]	Matriz de detalles sobre errores específicos que llevaron a este error notificado.
innererror	InnerErrorModel	Objeto que contiene información más específica que el objeto actual sobre el error.
message	string	Representación legible del error.
target	string	Destino del error.

ErrorCode

Código de error legible para personas.

Nombre	Tipo	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Respuesta de error.

Nombre	Tipo	Description
error	Error	Objeto de error.

EvaluationKind

Nombre	Tipo	Description
manual	string	Divida los datos según el conjunto de datos elegido para cada ejemplo de los datos.
percentage	string	Divida los datos en conjuntos de entrenamiento y pruebas según porcentajes definidos por el usuario.

EvaluationOptions

Representa las opciones usadas para ejecutar la evaluación.

Nombre	Tipo	Description
kind	EvaluationKind	Representa el tipo de evaluación. De forma predeterminada, el tipo de evaluación se establece en porcentaje.
testingSplitPercentage	integer	Representa el porcentaje de división del conjunto de datos de prueba. Solo es necesario en caso de que el tipo de evaluación sea porcentaje.
trainingSplitPercentage	integer	Representa el porcentaje de división del conjunto de datos de entrenamiento. Solo es necesario en caso de que el tipo de evaluación sea porcentaje.

InnerErrorCode

Código de error legible para personas.

Nombre	Tipo	Description
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

Objeto que contiene información más específica sobre el error. Según las directrices de la API de Microsoft One: https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Nombre	Tipo	Description
code	InnerErrorCode	Uno de un conjunto definido por el servidor de códigos de error.
details	object	Detalles del error.
innererror	InnerErrorModel	Objeto que contiene información más específica que el objeto actual sobre el error.
message	string	Mensaje de error.
target	string	Destino de error.

ProjectKind

Nombre	Tipo	Description
CustomEntityRecognition	string	Para crear un modelo de extracción para identificar las categorías de dominio mediante sus propios datos.
CustomMultiLabelClassification	string	Para crear un modelo de clasificación para clasificar texto mediante sus propios datos. Cada archivo puede tener una o varias etiquetas. Por ejemplo, el archivo 1 se clasifica como A, B y C y el archivo 2 se clasifican como B y C.
CustomSingleLabelClassification	string	Para crear un modelo de clasificación para clasificar texto mediante sus propios datos. Cada archivo solo tendrá una etiqueta. Por ejemplo, el archivo 1 se clasifica como A y el archivo 2 se clasifica como B.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Representa el resumen de evaluación de un proyecto de reconocimiento de entidades personalizado.

Nombre	Tipo	Description
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Contiene los datos relacionados con la evaluación de extracción.
evaluationOptions	EvaluationOptions	Representa las opciones usadas para ejecutar la evaluación.
projectKind	string: CustomEntityRecognition	Representa el tipo de proyecto en el que se ejecutó la evaluación.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Representa el resumen de evaluación de un proyecto de clasificación de varias etiquetas personalizado.

Nombre	Tipo	Description
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Contiene los datos relacionados con la evaluación de clasificación de varias etiquetas.
evaluationOptions	EvaluationOptions	Representa las opciones usadas para ejecutar la evaluación.
projectKind	string: CustomMultiLabelClassification	Representa el tipo de proyecto en el que se ejecutó la evaluación.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Representa el resumen de evaluación de un proyecto de clasificación de una sola etiqueta personalizada.

Nombre	Tipo	Description
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Contiene los datos relacionados con la evaluación de clasificación de etiquetas únicas.
evaluationOptions	EvaluationOptions	Representa las opciones usadas para ejecutar la evaluación.
projectKind	string: CustomSingleLabelClassification	Representa el tipo de proyecto en el que se ejecutó la evaluación.

TextAnalysisAuthoringEntityEvaluationSummary

Representa el resumen de evaluación de una entidad.

Nombre	Tipo	Description
f1	number	Representa la precisión del modelo.
falseNegativeCount	integer	Representa el recuento de falsos negativos.
falsePositiveCount	integer	Representa el recuento de falsos positivos.
precision	number	Representa la recuperación del modelo.
recall	number	Representa la puntuación F1 del modelo
trueNegativeCount	integer	Representa el recuento de verdaderos negativos.
truePositiveCount	integer	Representa el recuento de verdaderos positivos.

TextAnalysisAuthoringEntityRecognitionEvaluationSummary