Conversational Analysis Authoring - Get Model Evaluation Summary

Referenz

Dienst:: Azure AI Services

API-Version:: 2022-05-01

Ruft die Auswertungszusammenfassung eines trainierten Modells ab. Die Zusammenfassung enthält Leistungsmessungen auf hoher Ebene des Modells, z. B. F1, Genauigkeit, Abruf usw.

GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2022-05-01

URI-Parameter

Name	In	Erforderlich	Typ	Beschreibung
Endpoint	path	True	string	Unterstützter Cognitive Services-Endpunkt (z. B. https://.api.cognitiveservices.azure.com).
projectName	path	True	string	Der Name des zu verwendenden Projekts.
trainedModelLabel	path	True	string	Die trainierte Modellbezeichnung.
api-version	query	True	string	Client-API-Version.

Anforderungsheader

Name	Erforderlich	Typ	Beschreibung
Ocp-Apim-Subscription-Key	True	string	Ein Abonnementschlüssel für eine Sprachdienstressource.

Antworten

Name	Typ	Beschreibung
200 OK	ConversationalAnalysisAuthoringEvaluationSummary	Liste aller Auswertungsergebnisse.
Other Status Codes	ErrorResponse	Fehlerantwort.

Sicherheit

Ocp-Apim-Subscription-Key

Ein Abonnementschlüssel für eine Sprachdienstressource.

Typ: apiKey
In: header

Beispiele

Successful Get Model Evaluation Summary

Beispielanforderung

HTTP

GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2022-05-01

Beispiel für eine Antwort

Statuscode:: 200

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "Attachment": {
        "Attachment": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      },
      "Category": {
        "Category": {
          "normalizedValue": 91.666664,
          "rawValue": 11
        },
        "$none": {
          "normalizedValue": 8.333333,
          "rawValue": 1
        }
      },
      "ContactName": {
        "ContactName": {
          "normalizedValue": 91.666664,
          "rawValue": 22
        },
        "SenderName": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        },
        "$none": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "EmailSubject": {
        "EmailSubject": {
          "normalizedValue": 93.33333,
          "rawValue": 9.333334
        },
        "$none": {
          "normalizedValue": 6.6666665,
          "rawValue": 0.6666667
        }
      },
      "FromRelationshipName": {
        "FromRelationshipName": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "Line": {
        "Line": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "Message": {
        "Message": {
          "normalizedValue": 81.2063,
          "rawValue": 6.496504
        },
        "EmailSubject": {
          "normalizedValue": 7.43007,
          "rawValue": 0.5944056
        },
        "$none": {
          "normalizedValue": 9.120047,
          "rawValue": 0.7296037
        },
        "Date": {
          "normalizedValue": 2.2435899,
          "rawValue": 0.17948718
        }
      },
      "OrderReference": {
        "OrderReference": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "PositionReference": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "RelationshipName": {
        "RelationshipName": {
          "normalizedValue": 66.666664,
          "rawValue": 2
        },
        "$none": {
          "normalizedValue": 33.333332,
          "rawValue": 1
        }
      },
      "SearchTexts": {
        "SearchTexts": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "SenderName": {
        "SenderName": {
          "normalizedValue": 88.888885,
          "rawValue": 8
        },
        "ContactName": {
          "normalizedValue": 11.111111,
          "rawValue": 1
        }
      },
      "Time": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.739265,
          "rawValue": 162.575
        },
        "Category": {
          "normalizedValue": 0.2607362,
          "rawValue": 0.425
        }
      }
    },
    "entities": {
      "ContactName": {
        "f1": 0.9361702799797058,
        "precision": 0.95652174949646,
        "recall": 0.9166666865348816,
        "truePositiveCount": 22,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 2
      },
      "Category": {
        "f1": 0.8799999952316284,
        "precision": 0.8461538553237915,
        "recall": 0.9166666865348816,
        "truePositiveCount": 11,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "SenderName": {
        "f1": 0.8888888955116272,
        "precision": 0.8888888955116272,
        "recall": 0.8888888955116272,
        "truePositiveCount": 8,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      },
      "EmailSubject": {
        "f1": 0.8181817531585693,
        "precision": 0.75,
        "recall": 0.8999999761581421,
        "truePositiveCount": 9,
        "trueNegativeCount": 0,
        "falsePositiveCount": 3,
        "falseNegativeCount": 1
      },
      "Message": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 6,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 2
      },
      "Date": {
        "f1": 0.800000011920929,
        "precision": 0.6666666865348816,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 0
      },
      "OrderReference": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchTexts": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Attachment": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "RelationshipName": {
        "f1": 0.800000011920929,
        "precision": 1,
        "recall": 0.6666666865348816,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      },
      "Line": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Time": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 2
      },
      "FromRelationshipName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "PositionReference": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.8923077,
    "microPrecision": 0.8969072,
    "microRecall": 0.8877551,
    "macroF1": 0.7766601,
    "macroPrecision": 0.7755879,
    "macroRecall": 0.78849214
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "AddFlag": {
        "AddFlag": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "AddMore": {
        "AddMore": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "Cancel": {
        "Cancel": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "CheckMessages": {
        "CheckMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "Confirm": {
        "Confirm": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Delete": {
        "Delete": {
          "normalizedValue": 100,
          "rawValue": 5
        }
      },
      "Forward": {
        "Forward": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "None": {
        "None": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "QueryLastText": {
        "QueryLastText": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "ReadAloud": {
        "ReadAloud": {
          "normalizedValue": 100,
          "rawValue": 16
        }
      },
      "Reply": {
        "Reply": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "SearchMessages": {
        "SearchMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "SendEmail": {
        "SendEmail": {
          "normalizedValue": 100,
          "rawValue": 20
        }
      },
      "ShowNext": {
        "ShowNext": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "ShowPrevious": {
        "ShowPrevious": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      }
    },
    "intents": {
      "AddMore": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 104,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Cancel": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SendEmail": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 20,
        "trueNegativeCount": 101,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "CheckMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "AddFlag": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Reply": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ReadAloud": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 16,
        "trueNegativeCount": 105,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "QueryLastText": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Delete": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 5,
        "trueNegativeCount": 116,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Forward": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Confirm": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowNext": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowPrevious": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 118,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "None": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 120,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      }
    },
    "microF1": 1,
    "microPrecision": 1,
    "microRecall": 1,
    "macroF1": 1,
    "macroPrecision": 1,
    "macroRecall": 1
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definitionen

Name	Beschreibung
ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Stellt die Zusammenfassung des Auswertungsergebnisses für die Entitäten des Projekts dar.
ConversationalAnalysisAuthoringEntityEvaluationSummary	Stellt das Auswertungsergebnis für eine Entität dar.
ConversationalAnalysisAuthoringEvaluationOptions	Stellt die Optionen dar, die beim Ausführen der Auswertung verwendet werden.
ConversationalAnalysisAuthoringEvaluationSummary	Stellt die Zusammenfassung des Auswertungsergebnisses dar.
ConversationalAnalysisAuthoringIntentEvaluationSummary	Die Auswertungszusammenfassung für eine Absicht.
ConversationalAnalysisAuthoringIntentsEvaluationSummary	Stellt die Auswertungszusammenfassung für die Absichten des Projekts dar.
Error	Das Fehlerobjekt.
ErrorCode	Für Menschen lesbarer Fehlercode.
ErrorResponse	Fehlerantwort.
EvaluationKind	Stellt die Auswertungsart dar. Standardmäßig ist die Auswertungsart auf Prozentsatz festgelegt.
InnerErrorCode	Für Menschen lesbarer Fehlercode.
InnerErrorModel	Ein Objekt, das spezifischere Informationen zum Fehler enthält. Gemäß den Microsoft One-API-Richtlinien: https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

Stellt die Zusammenfassung des Auswertungsergebnisses für die Entitäten des Projekts dar.

Name	Typ	Beschreibung
confusionMatrix	object	Stellt die Verwirrungsmatrix zwischen zwei Entitäten dar (die beiden Entitäten können identisch sein). Die Matrix befindet sich zwischen der Entität, die beschriftet wurde, und der Entität, die vorhergesagt wurde.
entities	<string, ConversationalAnalysisAuthoringEntityEvaluationSummary>	Stellt die Zusammenfassung der Entitätenauswertung dar.
macroF1	number	Stellt das Makro F1 dar.
macroPrecision	number	Stellt die Makrogenauigkeit dar.
macroRecall	number	Stellt den Makrorückruf dar.
microF1	number	Stellt das Mikro F1 dar.
microPrecision	number	Stellt die Mikrogenauigkeit dar.
microRecall	number	Stellt den Mikrorückruf dar.

ConversationalAnalysisAuthoringEntityEvaluationSummary

Stellt das Auswertungsergebnis für eine Entität dar.

Name	Typ	Beschreibung
f1	number	Stellt die Modellgenauigkeit dar.
falseNegativeCount	integer	Stellt die Anzahl falsch negativer Werte dar.
falsePositiveCount	integer	Stellt die Anzahl falsch positiver Werte dar.
precision	number	Stellt den Modellrückruf dar.
recall	number	Stellt die F1-Bewertung des Modells dar.
trueNegativeCount	integer	Stellt die Anzahl der tatsächlich negativen Werte dar.
truePositiveCount	integer	Stellt die Anzahl der tatsächlich positiven Werte dar.

ConversationalAnalysisAuthoringEvaluationOptions

Stellt die Optionen dar, die beim Ausführen der Auswertung verwendet werden.

Name	Typ	Beschreibung
kind	EvaluationKind	Stellt die Auswertungsart dar. Standardmäßig ist die Auswertungsart auf Prozentsatz festgelegt.
testingSplitPercentage	integer	Stellt den Prozentualen Teil des Testdatasets dar. Nur erforderlich, wenn die Auswertungsart prozentual ist.
trainingSplitPercentage	integer	Stellt den Anteil des Trainingsdatasets dar. Nur erforderlich, wenn die Auswertungsart prozentual ist.

ConversationalAnalysisAuthoringEvaluationSummary

Stellt die Zusammenfassung des Auswertungsergebnisses dar.

Name	Typ	Beschreibung
entitiesEvaluation	ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Enthält die Daten im Zusammenhang mit der Entitätsauswertung.
evaluationOptions	ConversationalAnalysisAuthoringEvaluationOptions	Die Optionen, die beim Ausführen der Auswertung verwendet wurden.
intentsEvaluation	ConversationalAnalysisAuthoringIntentsEvaluationSummary	Enthält die Daten im Zusammenhang mit der Auswertung von Absichten.

ConversationalAnalysisAuthoringIntentEvaluationSummary

Die Auswertungszusammenfassung für eine Absicht.

Name	Typ	Beschreibung
f1	number	Stellt die Modellgenauigkeit dar.
falseNegativeCount	integer	Stellt die Anzahl falsch negativer Werte dar.
falsePositiveCount	integer	Stellt die Anzahl falsch positiver Werte dar.
precision	number	Stellt den Modellrückruf dar.
recall	number	Stellt die F1-Bewertung des Modells dar.
trueNegativeCount	integer	Stellt die Anzahl der tatsächlich negativen Werte dar.
truePositiveCount	integer	Stellt die Anzahl der tatsächlich positiven Werte dar.

ConversationalAnalysisAuthoringIntentsEvaluationSummary

Stellt die Auswertungszusammenfassung für die Absichten des Projekts dar.

Name	Typ	Beschreibung
confusionMatrix	object	Stellt die Verwirrungsmatrix zwischen zwei Absichten dar (die beiden Absichten können identisch sein). Die Matrix befindet sich zwischen der beschrifteten Absicht und der vorhergesagten Absicht.
intents	<string, ConversationalAnalysisAuthoringIntentEvaluationSummary>	Stellt die Zusammenfassung der Absichtenauswertung dar.
macroF1	number	Stellt das Makro F1 dar.
macroPrecision	number	Stellt die Makrogenauigkeit dar.
macroRecall	number	Stellt den Makrorückruf dar.
microF1	number	Stellt das Mikro F1 dar.
microPrecision	number	Stellt die Mikrogenauigkeit dar.
microRecall	number	Stellt den Mikrorückruf dar.

Error

Das Fehlerobjekt.

Name	Typ	Beschreibung
code	ErrorCode	Einer der vom Server definierten Fehlercodes.
details	Error[]	Ein Array von Details zu bestimmten Fehlern, die zu diesem gemeldeten Fehler geführt haben.
innererror	InnerErrorModel	Ein Objekt, das spezifischere Informationen enthält als das aktuelle Objekt über den Fehler.
message	string	Eine für Menschen lesbare Darstellung des Fehlers.
target	string	Das Ziel des Fehlers.

ErrorCode

Für Menschen lesbarer Fehlercode.

Name	Typ	Beschreibung
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Fehlerantwort.

Name	Typ	Beschreibung
error	Error	Das Fehlerobjekt.

EvaluationKind

Stellt die Auswertungsart dar. Standardmäßig ist die Auswertungsart auf Prozentsatz festgelegt.

Name	Typ	Beschreibung
manual	string	Teilen Sie die Daten nach dem ausgewählten Dataset für jedes Beispiel in den Daten auf.
percentage	string	Teilen Sie die Daten nach benutzerdefinierten Prozentsätzen in Trainings- und Testsätze auf.

InnerErrorCode