Conversational Analysis Authoring - Get Model Evaluation Summary

Referência

Serviço:: Azure AI Services

Versão da API:: 2022-05-01

Obtém o resumo de avaliação de um modelo preparado. O resumo inclui medições de desempenho de alto nível do modelo, por exemplo, F1, Precisão, Revocação, etc.

GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2022-05-01

Parâmetros do URI

Name	Em	Necessário	Tipo	Description
Endpoint	path	True	string	Ponto final dos Serviços Cognitivos suportado (por exemplo, https://.api.cognitiveservices.azure.com).
projectName	path	True	string	O nome do projeto a utilizar.
trainedModelLabel	path	True	string	A etiqueta do modelo preparado.
api-version	query	True	string	Versão da API de Cliente.

Cabeçalho do Pedido

Name	Necessário	Tipo	Description
Ocp-Apim-Subscription-Key	True	string	Uma chave de subscrição para um recurso do Serviço de idiomas.

Respostas

Name	Tipo	Description
200 OK	ConversationalAnalysisAuthoringEvaluationSummary	Lista de todos os resultados da avaliação.
Other Status Codes	ErrorResponse	Resposta de erro.

Segurança

Ocp-Apim-Subscription-Key

Uma chave de subscrição para um recurso do Serviço de idiomas.

Tipo: apiKey
Em: header

Exemplos

Successful Get Model Evaluation Summary

Pedido de amostra

HTTP

GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2022-05-01

Resposta da amostra

Código de estado:: 200

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "Attachment": {
        "Attachment": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      },
      "Category": {
        "Category": {
          "normalizedValue": 91.666664,
          "rawValue": 11
        },
        "$none": {
          "normalizedValue": 8.333333,
          "rawValue": 1
        }
      },
      "ContactName": {
        "ContactName": {
          "normalizedValue": 91.666664,
          "rawValue": 22
        },
        "SenderName": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        },
        "$none": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "EmailSubject": {
        "EmailSubject": {
          "normalizedValue": 93.33333,
          "rawValue": 9.333334
        },
        "$none": {
          "normalizedValue": 6.6666665,
          "rawValue": 0.6666667
        }
      },
      "FromRelationshipName": {
        "FromRelationshipName": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "Line": {
        "Line": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "Message": {
        "Message": {
          "normalizedValue": 81.2063,
          "rawValue": 6.496504
        },
        "EmailSubject": {
          "normalizedValue": 7.43007,
          "rawValue": 0.5944056
        },
        "$none": {
          "normalizedValue": 9.120047,
          "rawValue": 0.7296037
        },
        "Date": {
          "normalizedValue": 2.2435899,
          "rawValue": 0.17948718
        }
      },
      "OrderReference": {
        "OrderReference": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "PositionReference": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "RelationshipName": {
        "RelationshipName": {
          "normalizedValue": 66.666664,
          "rawValue": 2
        },
        "$none": {
          "normalizedValue": 33.333332,
          "rawValue": 1
        }
      },
      "SearchTexts": {
        "SearchTexts": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "SenderName": {
        "SenderName": {
          "normalizedValue": 88.888885,
          "rawValue": 8
        },
        "ContactName": {
          "normalizedValue": 11.111111,
          "rawValue": 1
        }
      },
      "Time": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.739265,
          "rawValue": 162.575
        },
        "Category": {
          "normalizedValue": 0.2607362,
          "rawValue": 0.425
        }
      }
    },
    "entities": {
      "ContactName": {
        "f1": 0.9361702799797058,
        "precision": 0.95652174949646,
        "recall": 0.9166666865348816,
        "truePositiveCount": 22,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 2
      },
      "Category": {
        "f1": 0.8799999952316284,
        "precision": 0.8461538553237915,
        "recall": 0.9166666865348816,
        "truePositiveCount": 11,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "SenderName": {
        "f1": 0.8888888955116272,
        "precision": 0.8888888955116272,
        "recall": 0.8888888955116272,
        "truePositiveCount": 8,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      },
      "EmailSubject": {
        "f1": 0.8181817531585693,
        "precision": 0.75,
        "recall": 0.8999999761581421,
        "truePositiveCount": 9,
        "trueNegativeCount": 0,
        "falsePositiveCount": 3,
        "falseNegativeCount": 1
      },
      "Message": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 6,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 2
      },
      "Date": {
        "f1": 0.800000011920929,
        "precision": 0.6666666865348816,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 0
      },
      "OrderReference": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchTexts": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Attachment": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "RelationshipName": {
        "f1": 0.800000011920929,
        "precision": 1,
        "recall": 0.6666666865348816,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      },
      "Line": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Time": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 2
      },
      "FromRelationshipName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "PositionReference": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.8923077,
    "microPrecision": 0.8969072,
    "microRecall": 0.8877551,
    "macroF1": 0.7766601,
    "macroPrecision": 0.7755879,
    "macroRecall": 0.78849214
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "AddFlag": {
        "AddFlag": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "AddMore": {
        "AddMore": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "Cancel": {
        "Cancel": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "CheckMessages": {
        "CheckMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "Confirm": {
        "Confirm": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Delete": {
        "Delete": {
          "normalizedValue": 100,
          "rawValue": 5
        }
      },
      "Forward": {
        "Forward": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "None": {
        "None": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "QueryLastText": {
        "QueryLastText": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "ReadAloud": {
        "ReadAloud": {
          "normalizedValue": 100,
          "rawValue": 16
        }
      },
      "Reply": {
        "Reply": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "SearchMessages": {
        "SearchMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "SendEmail": {
        "SendEmail": {
          "normalizedValue": 100,
          "rawValue": 20
        }
      },
      "ShowNext": {
        "ShowNext": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "ShowPrevious": {
        "ShowPrevious": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      }
    },
    "intents": {
      "AddMore": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 104,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Cancel": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SendEmail": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 20,
        "trueNegativeCount": 101,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "CheckMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "AddFlag": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Reply": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ReadAloud": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 16,
        "trueNegativeCount": 105,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "QueryLastText": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Delete": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 5,
        "trueNegativeCount": 116,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Forward": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Confirm": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowNext": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowPrevious": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 118,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "None": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 120,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      }
    },
    "microF1": 1,
    "microPrecision": 1,
    "microRecall": 1,
    "macroF1": 1,
    "macroPrecision": 1,
    "macroRecall": 1
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definições

Name	Description
ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Representa o resumo do resultado da avaliação das entidades do projeto.
ConversationalAnalysisAuthoringEntityEvaluationSummary	Representa o resultado da avaliação de uma entidade.
ConversationalAnalysisAuthoringEvaluationOptions	Representa as opções utilizadas para executar a avaliação.
ConversationalAnalysisAuthoringEvaluationSummary	Representa o resumo do resultado da avaliação.
ConversationalAnalysisAuthoringIntentEvaluationSummary	O resumo da avaliação de uma intenção.
ConversationalAnalysisAuthoringIntentsEvaluationSummary	Representa o resumo da avaliação das intenções do projeto.
Error	O objeto de erro.
ErrorCode	Código de erro legível por humanos.
ErrorResponse	Resposta de erro.
EvaluationKind	Representa o tipo de avaliação. Por predefinição, o tipo de avaliação está definido como percentagem.
InnerErrorCode	Código de erro legível por humanos.
InnerErrorModel	Um objeto que contém informações mais específicas sobre o erro. De acordo com as diretrizes da Microsoft One API – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

Representa o resumo do resultado da avaliação das entidades do projeto.

Name	Tipo	Description
confusionMatrix	object	Representa a matriz de confusão entre duas entidades (as duas entidades podem ser as mesmas). A matriz é entre a entidade que foi rotulada e a entidade que foi prevista.
entities	<string, ConversationalAnalysisAuthoringEntityEvaluationSummary>	Representa o resumo da avaliação de entidades.
macroF1	number	Representa a macro F1
macroPrecision	number	Representa a precisão da macro
macroRecall	number	Representa a recolha de macros
microF1	number	Representa o micro F1
microPrecision	number	Representa a micro precisão
microRecall	number	Representa a recuperação micro

ConversationalAnalysisAuthoringEntityEvaluationSummary

Representa o resultado da avaliação de uma entidade.

Name	Tipo	Description
f1	number	Representa a precisão do modelo
falseNegativeCount	integer	Representa a contagem de falsos negativos
falsePositiveCount	integer	Representa a contagem de falsos positivos
precision	number	Representa a recuperação do modelo
recall	number	Representa a classificação F1 do modelo
trueNegativeCount	integer	Representa a contagem de verdadeiros negativos
truePositiveCount	integer	Representa a contagem de verdadeiros positivos

ConversationalAnalysisAuthoringEvaluationOptions

Representa as opções utilizadas para executar a avaliação.

Name	Tipo	Description
kind	EvaluationKind	Representa o tipo de avaliação. Por predefinição, o tipo de avaliação está definido como percentagem.
testingSplitPercentage	integer	Representa a percentagem de divisão do conjunto de dados de teste. Só é necessário caso o tipo de avaliação seja percentagem.
trainingSplitPercentage	integer	Representa a percentagem de divisão do conjunto de dados de preparação. Só é necessário caso o tipo de avaliação seja percentagem.

ConversationalAnalysisAuthoringEvaluationSummary

Representa o resumo do resultado da avaliação.

Name	Tipo	Description
entitiesEvaluation	ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Contém os dados relacionados com a avaliação de entidades.
evaluationOptions	ConversationalAnalysisAuthoringEvaluationOptions	As opções que foram utilizadas durante a execução da avaliação.
intentsEvaluation	ConversationalAnalysisAuthoringIntentsEvaluationSummary	Contém os dados relacionados com a avaliação de intenções.

ConversationalAnalysisAuthoringIntentEvaluationSummary

O resumo da avaliação de uma intenção.

Name	Tipo	Description
f1	number	Representa a precisão do modelo
falseNegativeCount	integer	Representa a contagem de falsos negativos
falsePositiveCount	integer	Representa a contagem de falsos positivos
precision	number	Representa a recuperação do modelo
recall	number	Representa a classificação F1 do modelo
trueNegativeCount	integer	Representa a contagem de verdadeiros negativos
truePositiveCount	integer	Representa a contagem de verdadeiros positivos

ConversationalAnalysisAuthoringIntentsEvaluationSummary

Representa o resumo da avaliação das intenções do projeto.

Name	Tipo	Description
confusionMatrix	object	Representa a matriz de confusão entre duas intenções (as duas intenções podem ser as mesmas). A matriz está entre a intenção que foi etiquetada e a intenção que foi prevista.
intents	<string, ConversationalAnalysisAuthoringIntentEvaluationSummary>	Representa o resumo da avaliação de intenções.
macroF1	number	Representa a macro F1
macroPrecision	number	Representa a precisão da macro
macroRecall	number	Representa a recolha de macros
microF1	number	Representa o micro F1
microPrecision	number	Representa a micro precisão
microRecall	number	Representa a recuperação micro

Error

O objeto de erro.

Name	Tipo	Description
code	ErrorCode	Um dos conjuntos de códigos de erro definidos pelo servidor.
details	Error[]	Uma matriz de detalhes sobre erros específicos que levaram a este erro reportado.
innererror	InnerErrorModel	Um objeto que contém informações mais específicas do que o objeto atual sobre o erro.
message	string	Uma representação legível por humanos do erro.
target	string	O destino do erro.

ErrorCode

Código de erro legível por humanos.

Name	Tipo	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Resposta de erro.

Name	Tipo	Description
error	Error	O objeto de erro.

EvaluationKind

Representa o tipo de avaliação. Por predefinição, o tipo de avaliação está definido como percentagem.

Name	Tipo	Description
manual	string	Divida os dados de acordo com o conjunto de dados escolhido para cada exemplo nos dados.
percentage	string	Divida os dados em conjuntos de preparação e teste de acordo com percentagens definidas pelo utilizador.

InnerErrorCode