Conversational Analysis Authoring - Get Model Evaluation Summary

Riferimento

Servizio:: Azure AI Services

Versione API:: 2022-05-01

Ottiene il riepilogo della valutazione di un modello sottoposto a training. Il riepilogo include misurazioni di prestazioni di alto livello del modello, ad esempio F1, Precisione, Richiamo e così via.

GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2022-05-01

Parametri dell'URI

Nome	In	Necessario	Tipo	Descrizione
Endpoint	path	True	string	Endpoint di Servizi cognitivi supportato (ad esempio, https://.api.cognitiveservices.azure.com).
projectName	path	True	string	Nome del progetto da utilizzare.
trainedModelLabel	path	True	string	Etichetta del modello con training.
api-version	query	True	string	Versione API client.

Intestazione della richiesta

Nome	Necessario	Tipo	Descrizione
Ocp-Apim-Subscription-Key	True	string	Una chiave di sottoscrizione per una risorsa del servizio linguistico.

Risposte

Nome	Tipo	Descrizione
200 OK	ConversationalAnalysisAuthoringEvaluationSummary	Elenco di tutti i risultati della valutazione.
Other Status Codes	ErrorResponse	Risposta di errore.

Sicurezza

Ocp-Apim-Subscription-Key

Una chiave di sottoscrizione per una risorsa del servizio linguistico.

Tipo: apiKey
In: header

Esempio

Successful Get Model Evaluation Summary

Esempio di richiesta

HTTP

GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2022-05-01

Risposta di esempio

Codice di stato:: 200

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "Attachment": {
        "Attachment": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      },
      "Category": {
        "Category": {
          "normalizedValue": 91.666664,
          "rawValue": 11
        },
        "$none": {
          "normalizedValue": 8.333333,
          "rawValue": 1
        }
      },
      "ContactName": {
        "ContactName": {
          "normalizedValue": 91.666664,
          "rawValue": 22
        },
        "SenderName": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        },
        "$none": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "EmailSubject": {
        "EmailSubject": {
          "normalizedValue": 93.33333,
          "rawValue": 9.333334
        },
        "$none": {
          "normalizedValue": 6.6666665,
          "rawValue": 0.6666667
        }
      },
      "FromRelationshipName": {
        "FromRelationshipName": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "Line": {
        "Line": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "Message": {
        "Message": {
          "normalizedValue": 81.2063,
          "rawValue": 6.496504
        },
        "EmailSubject": {
          "normalizedValue": 7.43007,
          "rawValue": 0.5944056
        },
        "$none": {
          "normalizedValue": 9.120047,
          "rawValue": 0.7296037
        },
        "Date": {
          "normalizedValue": 2.2435899,
          "rawValue": 0.17948718
        }
      },
      "OrderReference": {
        "OrderReference": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "PositionReference": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "RelationshipName": {
        "RelationshipName": {
          "normalizedValue": 66.666664,
          "rawValue": 2
        },
        "$none": {
          "normalizedValue": 33.333332,
          "rawValue": 1
        }
      },
      "SearchTexts": {
        "SearchTexts": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "SenderName": {
        "SenderName": {
          "normalizedValue": 88.888885,
          "rawValue": 8
        },
        "ContactName": {
          "normalizedValue": 11.111111,
          "rawValue": 1
        }
      },
      "Time": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.739265,
          "rawValue": 162.575
        },
        "Category": {
          "normalizedValue": 0.2607362,
          "rawValue": 0.425
        }
      }
    },
    "entities": {
      "ContactName": {
        "f1": 0.9361702799797058,
        "precision": 0.95652174949646,
        "recall": 0.9166666865348816,
        "truePositiveCount": 22,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 2
      },
      "Category": {
        "f1": 0.8799999952316284,
        "precision": 0.8461538553237915,
        "recall": 0.9166666865348816,
        "truePositiveCount": 11,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "SenderName": {
        "f1": 0.8888888955116272,
        "precision": 0.8888888955116272,
        "recall": 0.8888888955116272,
        "truePositiveCount": 8,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      },
      "EmailSubject": {
        "f1": 0.8181817531585693,
        "precision": 0.75,
        "recall": 0.8999999761581421,
        "truePositiveCount": 9,
        "trueNegativeCount": 0,
        "falsePositiveCount": 3,
        "falseNegativeCount": 1
      },
      "Message": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 6,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 2
      },
      "Date": {
        "f1": 0.800000011920929,
        "precision": 0.6666666865348816,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 0
      },
      "OrderReference": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchTexts": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Attachment": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "RelationshipName": {
        "f1": 0.800000011920929,
        "precision": 1,
        "recall": 0.6666666865348816,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      },
      "Line": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Time": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 2
      },
      "FromRelationshipName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "PositionReference": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.8923077,
    "microPrecision": 0.8969072,
    "microRecall": 0.8877551,
    "macroF1": 0.7766601,
    "macroPrecision": 0.7755879,
    "macroRecall": 0.78849214
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "AddFlag": {
        "AddFlag": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "AddMore": {
        "AddMore": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "Cancel": {
        "Cancel": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "CheckMessages": {
        "CheckMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "Confirm": {
        "Confirm": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Delete": {
        "Delete": {
          "normalizedValue": 100,
          "rawValue": 5
        }
      },
      "Forward": {
        "Forward": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "None": {
        "None": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "QueryLastText": {
        "QueryLastText": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "ReadAloud": {
        "ReadAloud": {
          "normalizedValue": 100,
          "rawValue": 16
        }
      },
      "Reply": {
        "Reply": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "SearchMessages": {
        "SearchMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "SendEmail": {
        "SendEmail": {
          "normalizedValue": 100,
          "rawValue": 20
        }
      },
      "ShowNext": {
        "ShowNext": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "ShowPrevious": {
        "ShowPrevious": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      }
    },
    "intents": {
      "AddMore": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 104,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Cancel": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SendEmail": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 20,
        "trueNegativeCount": 101,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "CheckMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "AddFlag": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Reply": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ReadAloud": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 16,
        "trueNegativeCount": 105,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "QueryLastText": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Delete": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 5,
        "trueNegativeCount": 116,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Forward": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Confirm": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowNext": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowPrevious": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 118,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "None": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 120,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      }
    },
    "microF1": 1,
    "microPrecision": 1,
    "microRecall": 1,
    "macroF1": 1,
    "macroPrecision": 1,
    "macroRecall": 1
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definizioni

Nome	Descrizione
ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Rappresenta il riepilogo dei risultati della valutazione per le entità del progetto.
ConversationalAnalysisAuthoringEntityEvaluationSummary	Rappresenta il risultato della valutazione per un'entità.
ConversationalAnalysisAuthoringEvaluationOptions	Rappresenta le opzioni utilizzate per l'esecuzione della valutazione.
ConversationalAnalysisAuthoringEvaluationSummary	Rappresenta il riepilogo dei risultati della valutazione.
ConversationalAnalysisAuthoringIntentEvaluationSummary	Riepilogo della valutazione per una finalità.
ConversationalAnalysisAuthoringIntentsEvaluationSummary	Rappresenta il riepilogo della valutazione per le finalità del progetto.
Error	Oggetto error.
ErrorCode	Codice di errore leggibile.
ErrorResponse	Risposta di errore.
EvaluationKind	Rappresenta il tipo di valutazione. Per impostazione predefinita, il tipo di valutazione è impostato su percentage.
InnerErrorCode	Codice di errore leggibile.
InnerErrorModel	Oggetto contenente informazioni più specifiche sull'errore. In base alle linee guida dell'API Microsoft One - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

Rappresenta il riepilogo dei risultati della valutazione per le entità del progetto.

Nome	Tipo	Descrizione
confusionMatrix	object	Rappresenta la matrice di confusione tra due entità (le due entità possono essere uguali). La matrice è tra l'entità etichettata e l'entità stimata.
entities	<string, ConversationalAnalysisAuthoringEntityEvaluationSummary>	Rappresenta il riepilogo della valutazione delle entità.
macroF1	number	Rappresenta la macro F1
macroPrecision	number	Rappresenta la precisione della macro
macroRecall	number	Rappresenta il richiamo della macro
microF1	number	Rappresenta il micro F1
microPrecision	number	Rappresenta la micro precisione
microRecall	number	Rappresenta il micro richiamo

ConversationalAnalysisAuthoringEntityEvaluationSummary

Rappresenta il risultato della valutazione per un'entità.

Nome	Tipo	Descrizione
f1	number	Rappresenta la precisione del modello
falseNegativeCount	integer	Rappresenta il conteggio dei falsi negativi
falsePositiveCount	integer	Rappresenta il conteggio dei falsi positivi
precision	number	Rappresenta il richiamo del modello
recall	number	Rappresenta il punteggio F1 del modello
trueNegativeCount	integer	Rappresenta il conteggio di veri negativi
truePositiveCount	integer	Rappresenta il conteggio dei veri positivi

ConversationalAnalysisAuthoringEvaluationOptions

Rappresenta le opzioni utilizzate per l'esecuzione della valutazione.

Nome	Tipo	Descrizione
kind	EvaluationKind	Rappresenta il tipo di valutazione. Per impostazione predefinita, il tipo di valutazione è impostato su percentage.
testingSplitPercentage	integer	Rappresenta la percentuale di divisione del set di dati di test. È necessario solo nel caso in cui il tipo di valutazione sia percentuale.
trainingSplitPercentage	integer	Rappresenta la percentuale di divisione del set di dati di training. È necessario solo nel caso in cui il tipo di valutazione sia percentuale.

ConversationalAnalysisAuthoringEvaluationSummary

Rappresenta il riepilogo dei risultati della valutazione.

Nome	Tipo	Descrizione
entitiesEvaluation	ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Contiene i dati correlati alla valutazione delle entità.
evaluationOptions	ConversationalAnalysisAuthoringEvaluationOptions	Opzioni utilizzate durante l'esecuzione della valutazione.
intentsEvaluation	ConversationalAnalysisAuthoringIntentsEvaluationSummary	Contiene i dati correlati alla valutazione delle finalità.

ConversationalAnalysisAuthoringIntentEvaluationSummary

Riepilogo della valutazione per una finalità.

Nome	Tipo	Descrizione
f1	number	Rappresenta la precisione del modello
falseNegativeCount	integer	Rappresenta il conteggio dei falsi negativi
falsePositiveCount	integer	Rappresenta il conteggio dei falsi positivi
precision	number	Rappresenta il richiamo del modello
recall	number	Rappresenta il punteggio F1 del modello
trueNegativeCount	integer	Rappresenta il conteggio di veri negativi
truePositiveCount	integer	Rappresenta il conteggio dei veri positivi

ConversationalAnalysisAuthoringIntentsEvaluationSummary

Rappresenta il riepilogo della valutazione per le finalità del progetto.

Nome	Tipo	Descrizione
confusionMatrix	object	Rappresenta la matrice di confusione tra due finalità (le due finalità possono essere le stesse). La matrice è tra la finalità etichettata e la finalità stimata.
intents	<string, ConversationalAnalysisAuthoringIntentEvaluationSummary>	Rappresenta il riepilogo della valutazione delle finalità.
macroF1	number	Rappresenta la macro F1
macroPrecision	number	Rappresenta la precisione della macro
macroRecall	number	Rappresenta il richiamo della macro
microF1	number	Rappresenta il micro F1
microPrecision	number	Rappresenta la micro precisione
microRecall	number	Rappresenta il micro richiamo

Error

Oggetto error.

Nome	Tipo	Descrizione
code	ErrorCode	Uno dei set definiti dal server di codici di errore.
details	Error[]	Matrice di dettagli sugli errori specifici che hanno causato questo errore segnalato.
innererror	InnerErrorModel	Oggetto contenente informazioni più specifiche dell'oggetto corrente sull'errore.
message	string	Rappresentazione leggibile dell'errore.
target	string	Destinazione dell'errore.

ErrorCode

Codice di errore leggibile.

Nome	Tipo	Descrizione
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Risposta di errore.

Nome	Tipo	Descrizione
error	Error	Oggetto error.

EvaluationKind

Rappresenta il tipo di valutazione. Per impostazione predefinita, il tipo di valutazione è impostato su percentage.

Nome	Tipo	Descrizione
manual	string	Suddividere i dati in base al set di dati scelto per ogni esempio nei dati.
percentage	string	Suddividere i dati in set di training e test in base alle percentuali definite dall'utente.

InnerErrorCode