Conversational Analysis Authoring - Get Model Evaluation Summary

Referencia

Servicio:: Azure AI Services

Versión de la API:: 2022-05-01

Obtiene el resumen de evaluación de un modelo entrenado. El resumen incluye medidas de alto rendimiento del modelo, por ejemplo, F1, precisión, recuperación, etc.

GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2022-05-01

Parámetros de identificador URI

Nombre	En	Requerido	Tipo	Description
Endpoint	path	True	string	Punto de conexión de Cognitive Services compatible (por ejemplo, https://.api.cognitiveservices.azure.com).
projectName	path	True	string	Nombre del proyecto que se va a usar.
trainedModelLabel	path	True	string	Etiqueta del modelo entrenado.
api-version	query	True	string	Versión de API del cliente.

Encabezado de la solicitud

Nombre	Requerido	Tipo	Description
Ocp-Apim-Subscription-Key	True	string	Una clave de suscripción para un recurso de servicio de lenguaje.

Respuestas

Nombre	Tipo	Description
200 OK	ConversationalAnalysisAuthoringEvaluationSummary	Lista de todos los resultados de evaluación.
Other Status Codes	ErrorResponse	Respuesta de error.

Seguridad

Ocp-Apim-Subscription-Key

Una clave de suscripción para un recurso de servicio de lenguaje.

Tipo: apiKey
En: header

Ejemplos

Successful Get Model Evaluation Summary

Solicitud de ejemplo

HTTP

GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2022-05-01

Respuesta de muestra

status code:: 200

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "Attachment": {
        "Attachment": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      },
      "Category": {
        "Category": {
          "normalizedValue": 91.666664,
          "rawValue": 11
        },
        "$none": {
          "normalizedValue": 8.333333,
          "rawValue": 1
        }
      },
      "ContactName": {
        "ContactName": {
          "normalizedValue": 91.666664,
          "rawValue": 22
        },
        "SenderName": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        },
        "$none": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "EmailSubject": {
        "EmailSubject": {
          "normalizedValue": 93.33333,
          "rawValue": 9.333334
        },
        "$none": {
          "normalizedValue": 6.6666665,
          "rawValue": 0.6666667
        }
      },
      "FromRelationshipName": {
        "FromRelationshipName": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "Line": {
        "Line": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "Message": {
        "Message": {
          "normalizedValue": 81.2063,
          "rawValue": 6.496504
        },
        "EmailSubject": {
          "normalizedValue": 7.43007,
          "rawValue": 0.5944056
        },
        "$none": {
          "normalizedValue": 9.120047,
          "rawValue": 0.7296037
        },
        "Date": {
          "normalizedValue": 2.2435899,
          "rawValue": 0.17948718
        }
      },
      "OrderReference": {
        "OrderReference": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "PositionReference": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "RelationshipName": {
        "RelationshipName": {
          "normalizedValue": 66.666664,
          "rawValue": 2
        },
        "$none": {
          "normalizedValue": 33.333332,
          "rawValue": 1
        }
      },
      "SearchTexts": {
        "SearchTexts": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "SenderName": {
        "SenderName": {
          "normalizedValue": 88.888885,
          "rawValue": 8
        },
        "ContactName": {
          "normalizedValue": 11.111111,
          "rawValue": 1
        }
      },
      "Time": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.739265,
          "rawValue": 162.575
        },
        "Category": {
          "normalizedValue": 0.2607362,
          "rawValue": 0.425
        }
      }
    },
    "entities": {
      "ContactName": {
        "f1": 0.9361702799797058,
        "precision": 0.95652174949646,
        "recall": 0.9166666865348816,
        "truePositiveCount": 22,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 2
      },
      "Category": {
        "f1": 0.8799999952316284,
        "precision": 0.8461538553237915,
        "recall": 0.9166666865348816,
        "truePositiveCount": 11,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "SenderName": {
        "f1": 0.8888888955116272,
        "precision": 0.8888888955116272,
        "recall": 0.8888888955116272,
        "truePositiveCount": 8,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      },
      "EmailSubject": {
        "f1": 0.8181817531585693,
        "precision": 0.75,
        "recall": 0.8999999761581421,
        "truePositiveCount": 9,
        "trueNegativeCount": 0,
        "falsePositiveCount": 3,
        "falseNegativeCount": 1
      },
      "Message": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 6,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 2
      },
      "Date": {
        "f1": 0.800000011920929,
        "precision": 0.6666666865348816,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 0
      },
      "OrderReference": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchTexts": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Attachment": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "RelationshipName": {
        "f1": 0.800000011920929,
        "precision": 1,
        "recall": 0.6666666865348816,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      },
      "Line": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Time": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 2
      },
      "FromRelationshipName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "PositionReference": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.8923077,
    "microPrecision": 0.8969072,
    "microRecall": 0.8877551,
    "macroF1": 0.7766601,
    "macroPrecision": 0.7755879,
    "macroRecall": 0.78849214
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "AddFlag": {
        "AddFlag": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "AddMore": {
        "AddMore": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "Cancel": {
        "Cancel": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "CheckMessages": {
        "CheckMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "Confirm": {
        "Confirm": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Delete": {
        "Delete": {
          "normalizedValue": 100,
          "rawValue": 5
        }
      },
      "Forward": {
        "Forward": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "None": {
        "None": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "QueryLastText": {
        "QueryLastText": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "ReadAloud": {
        "ReadAloud": {
          "normalizedValue": 100,
          "rawValue": 16
        }
      },
      "Reply": {
        "Reply": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "SearchMessages": {
        "SearchMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "SendEmail": {
        "SendEmail": {
          "normalizedValue": 100,
          "rawValue": 20
        }
      },
      "ShowNext": {
        "ShowNext": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "ShowPrevious": {
        "ShowPrevious": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      }
    },
    "intents": {
      "AddMore": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 104,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Cancel": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SendEmail": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 20,
        "trueNegativeCount": 101,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "CheckMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "AddFlag": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Reply": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ReadAloud": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 16,
        "trueNegativeCount": 105,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "QueryLastText": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Delete": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 5,
        "trueNegativeCount": 116,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Forward": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Confirm": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowNext": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowPrevious": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 118,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "None": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 120,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      }
    },
    "microF1": 1,
    "microPrecision": 1,
    "microRecall": 1,
    "macroF1": 1,
    "macroPrecision": 1,
    "macroRecall": 1
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definiciones

Nombre	Description
ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Representa el resumen del resultado de evaluación para las entidades del proyecto.
ConversationalAnalysisAuthoringEntityEvaluationSummary	Representa el resultado de evaluación de una entidad.
ConversationalAnalysisAuthoringEvaluationOptions	Representa las opciones usadas para ejecutar la evaluación.
ConversationalAnalysisAuthoringEvaluationSummary	Representa el resumen del resultado de la evaluación.
ConversationalAnalysisAuthoringIntentEvaluationSummary	Resumen de evaluación de una intención.
ConversationalAnalysisAuthoringIntentsEvaluationSummary	Representa el resumen de evaluación de las intenciones del proyecto.
Error	Objeto de error.
ErrorCode	Código de error legible.
ErrorResponse	Respuesta de error.
EvaluationKind	Representa el tipo de evaluación. De forma predeterminada, el tipo de evaluación se establece en porcentaje.
InnerErrorCode	Código de error legible.
InnerErrorModel	Objeto que contiene información más específica sobre el error. Según las directrices de la API de Microsoft One: https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

Representa el resumen del resultado de evaluación para las entidades del proyecto.

Nombre	Tipo	Description
confusionMatrix	object	Representa la matriz de confusión entre dos entidades (las dos entidades pueden ser iguales). La matriz está entre la entidad etiquetada y la entidad que se predijo.
entities	<string, ConversationalAnalysisAuthoringEntityEvaluationSummary>	Representa el resumen de evaluación de entidades.
macroF1	number	Representa la macro F1
macroPrecision	number	Representa la precisión de la macro.
macroRecall	number	Representa la recuperación de macros.
microF1	number	Representa el micro F1
microPrecision	number	Representa la micro precisión.
microRecall	number	Representa la recuperación micro

ConversationalAnalysisAuthoringEntityEvaluationSummary

Representa el resultado de evaluación de una entidad.

Nombre	Tipo	Description
f1	number	Representa la precisión del modelo.
falseNegativeCount	integer	Representa el recuento de falsos negativos.
falsePositiveCount	integer	Representa el recuento de falsos positivos.
precision	number	Representa la recuperación del modelo.
recall	number	Representa la puntuación F1 del modelo
trueNegativeCount	integer	Representa el recuento de verdaderos negativos.
truePositiveCount	integer	Representa el recuento de verdaderos positivos.

ConversationalAnalysisAuthoringEvaluationOptions

Representa las opciones usadas para ejecutar la evaluación.

Nombre	Tipo	Description
kind	EvaluationKind	Representa el tipo de evaluación. De forma predeterminada, el tipo de evaluación se establece en porcentaje.
testingSplitPercentage	integer	Representa el porcentaje de división del conjunto de datos de prueba. Solo es necesario en caso de que el tipo de evaluación sea porcentaje.
trainingSplitPercentage	integer	Representa el porcentaje de división del conjunto de datos de entrenamiento. Solo es necesario en caso de que el tipo de evaluación sea porcentaje.

ConversationalAnalysisAuthoringEvaluationSummary

Representa el resumen del resultado de la evaluación.

Nombre	Tipo	Description
entitiesEvaluation	ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Contiene los datos relacionados con la evaluación de entidades.
evaluationOptions	ConversationalAnalysisAuthoringEvaluationOptions	Las opciones que se usaron durante la ejecución de la evaluación.
intentsEvaluation	ConversationalAnalysisAuthoringIntentsEvaluationSummary	Contiene los datos relacionados con la evaluación de intenciones.

ConversationalAnalysisAuthoringIntentEvaluationSummary

Resumen de evaluación de una intención.

Nombre	Tipo	Description
f1	number	Representa la precisión del modelo.
falseNegativeCount	integer	Representa el recuento de falsos negativos.
falsePositiveCount	integer	Representa el recuento de falsos positivos.
precision	number	Representa la recuperación del modelo.
recall	number	Representa la puntuación F1 del modelo
trueNegativeCount	integer	Representa el recuento de verdaderos negativos.
truePositiveCount	integer	Representa el recuento de verdaderos positivos.

ConversationalAnalysisAuthoringIntentsEvaluationSummary

Representa el resumen de evaluación de las intenciones del proyecto.

Nombre	Tipo	Description
confusionMatrix	object	Representa la matriz de confusión entre dos intenciones (las dos intenciones pueden ser iguales). La matriz está entre la intención etiquetada y la intención que se predijo.
intents	<string, ConversationalAnalysisAuthoringIntentEvaluationSummary>	Representa el resumen de evaluación de intenciones.
macroF1	number	Representa la macro F1
macroPrecision	number	Representa la precisión de la macro.
macroRecall	number	Representa la recuperación de macros.
microF1	number	Representa el micro F1
microPrecision	number	Representa la micro precisión.
microRecall	number	Representa la recuperación micro

Error

Objeto de error.

Nombre	Tipo	Description
code	ErrorCode	Uno de un conjunto definido por el servidor de códigos de error.
details	Error[]	Matriz de detalles sobre errores específicos que llevaron a este error notificado.
innererror	InnerErrorModel	Objeto que contiene información más específica que el objeto actual sobre el error.
message	string	Representación legible del error.
target	string	Destino del error.

ErrorCode

Código de error legible.

Nombre	Tipo	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Respuesta de error.

Nombre	Tipo	Description
error	Error	Objeto de error.

EvaluationKind

Representa el tipo de evaluación. De forma predeterminada, el tipo de evaluación se establece en porcentaje.

Nombre	Tipo	Description
manual	string	Divida los datos según el conjunto de datos elegido para cada ejemplo de los datos.
percentage	string	Divida los datos en conjuntos de entrenamiento y pruebas según los porcentajes definidos por el usuario.

InnerErrorCode