Conversational Analysis Authoring - Get Model Evaluation Summary

Referens

Tjänst:: Azure AI Services

API-version:: 2022-05-01

Hämtar utvärderingssammanfattningen för en tränad modell. Sammanfattningen innehåller prestandamått på hög nivå för modellen, t.ex. F1, Precision, Recall osv.

GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2022-05-01

URI-parametrar

Name	I	Obligatorisk	Typ	Description
Endpoint	path	True	string	Cognitive Services-slutpunkt som stöds (t.ex. https://.api.cognitiveservices.azure.com).
projectName	path	True	string	Namnet på det projekt som ska användas.
trainedModelLabel	path	True	string	Den tränade modelletiketten.
api-version	query	True	string	Klient-API-version.

Begärandehuvud

Name	Obligatorisk	Typ	Description
Ocp-Apim-Subscription-Key	True	string	En prenumerationsnyckel för en språktjänstresurs.

Svar

Name	Typ	Description
200 OK	ConversationalAnalysisAuthoringEvaluationSummary	Lista över alla utvärderingsresultat.
Other Status Codes	ErrorResponse	Felsvar.

Säkerhet

Ocp-Apim-Subscription-Key

En prenumerationsnyckel för en språktjänstresurs.

Typ: apiKey
I: header

Exempel

Successful Get Model Evaluation Summary

Exempelbegäran

HTTP

GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2022-05-01

Exempelsvar

Statuskod:: 200

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "Attachment": {
        "Attachment": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      },
      "Category": {
        "Category": {
          "normalizedValue": 91.666664,
          "rawValue": 11
        },
        "$none": {
          "normalizedValue": 8.333333,
          "rawValue": 1
        }
      },
      "ContactName": {
        "ContactName": {
          "normalizedValue": 91.666664,
          "rawValue": 22
        },
        "SenderName": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        },
        "$none": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "EmailSubject": {
        "EmailSubject": {
          "normalizedValue": 93.33333,
          "rawValue": 9.333334
        },
        "$none": {
          "normalizedValue": 6.6666665,
          "rawValue": 0.6666667
        }
      },
      "FromRelationshipName": {
        "FromRelationshipName": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "Line": {
        "Line": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "Message": {
        "Message": {
          "normalizedValue": 81.2063,
          "rawValue": 6.496504
        },
        "EmailSubject": {
          "normalizedValue": 7.43007,
          "rawValue": 0.5944056
        },
        "$none": {
          "normalizedValue": 9.120047,
          "rawValue": 0.7296037
        },
        "Date": {
          "normalizedValue": 2.2435899,
          "rawValue": 0.17948718
        }
      },
      "OrderReference": {
        "OrderReference": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "PositionReference": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "RelationshipName": {
        "RelationshipName": {
          "normalizedValue": 66.666664,
          "rawValue": 2
        },
        "$none": {
          "normalizedValue": 33.333332,
          "rawValue": 1
        }
      },
      "SearchTexts": {
        "SearchTexts": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "SenderName": {
        "SenderName": {
          "normalizedValue": 88.888885,
          "rawValue": 8
        },
        "ContactName": {
          "normalizedValue": 11.111111,
          "rawValue": 1
        }
      },
      "Time": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.739265,
          "rawValue": 162.575
        },
        "Category": {
          "normalizedValue": 0.2607362,
          "rawValue": 0.425
        }
      }
    },
    "entities": {
      "ContactName": {
        "f1": 0.9361702799797058,
        "precision": 0.95652174949646,
        "recall": 0.9166666865348816,
        "truePositiveCount": 22,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 2
      },
      "Category": {
        "f1": 0.8799999952316284,
        "precision": 0.8461538553237915,
        "recall": 0.9166666865348816,
        "truePositiveCount": 11,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "SenderName": {
        "f1": 0.8888888955116272,
        "precision": 0.8888888955116272,
        "recall": 0.8888888955116272,
        "truePositiveCount": 8,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      },
      "EmailSubject": {
        "f1": 0.8181817531585693,
        "precision": 0.75,
        "recall": 0.8999999761581421,
        "truePositiveCount": 9,
        "trueNegativeCount": 0,
        "falsePositiveCount": 3,
        "falseNegativeCount": 1
      },
      "Message": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 6,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 2
      },
      "Date": {
        "f1": 0.800000011920929,
        "precision": 0.6666666865348816,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 0
      },
      "OrderReference": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchTexts": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Attachment": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "RelationshipName": {
        "f1": 0.800000011920929,
        "precision": 1,
        "recall": 0.6666666865348816,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      },
      "Line": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Time": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 2
      },
      "FromRelationshipName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "PositionReference": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.8923077,
    "microPrecision": 0.8969072,
    "microRecall": 0.8877551,
    "macroF1": 0.7766601,
    "macroPrecision": 0.7755879,
    "macroRecall": 0.78849214
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "AddFlag": {
        "AddFlag": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "AddMore": {
        "AddMore": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "Cancel": {
        "Cancel": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "CheckMessages": {
        "CheckMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "Confirm": {
        "Confirm": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Delete": {
        "Delete": {
          "normalizedValue": 100,
          "rawValue": 5
        }
      },
      "Forward": {
        "Forward": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "None": {
        "None": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "QueryLastText": {
        "QueryLastText": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "ReadAloud": {
        "ReadAloud": {
          "normalizedValue": 100,
          "rawValue": 16
        }
      },
      "Reply": {
        "Reply": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "SearchMessages": {
        "SearchMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "SendEmail": {
        "SendEmail": {
          "normalizedValue": 100,
          "rawValue": 20
        }
      },
      "ShowNext": {
        "ShowNext": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "ShowPrevious": {
        "ShowPrevious": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      }
    },
    "intents": {
      "AddMore": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 104,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Cancel": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SendEmail": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 20,
        "trueNegativeCount": 101,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "CheckMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "AddFlag": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Reply": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ReadAloud": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 16,
        "trueNegativeCount": 105,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "QueryLastText": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Delete": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 5,
        "trueNegativeCount": 116,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Forward": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Confirm": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowNext": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowPrevious": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 118,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "None": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 120,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      }
    },
    "microF1": 1,
    "microPrecision": 1,
    "microRecall": 1,
    "macroF1": 1,
    "macroPrecision": 1,
    "macroRecall": 1
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definitioner

Name	Description
ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Representerar utvärderingsresultatsammanfattningen för projektets entiteter.
ConversationalAnalysisAuthoringEntityEvaluationSummary	Representerar utvärderingsresultatet för en entitet.
ConversationalAnalysisAuthoringEvaluationOptions	Representerar de alternativ som används för att köra utvärderingen.
ConversationalAnalysisAuthoringEvaluationSummary	Representerar utvärderingsresultatsammanfattningen.
ConversationalAnalysisAuthoringIntentEvaluationSummary	Utvärderingssammanfattningen för en avsikt.
ConversationalAnalysisAuthoringIntentsEvaluationSummary	Representerar utvärderingssammanfattningen för projektets avsikter.
Error	Felobjektet.
ErrorCode	Felkod som kan läsas av människor.
ErrorResponse	Felsvar.
EvaluationKind	Representerar utvärderingstyp. Som standard är utvärderingstypen inställd på procent.
InnerErrorCode	Felkod som kan läsas av människor.
InnerErrorModel	Ett objekt som innehåller mer specifik information om felet. Enligt Riktlinjerna för Microsoft One API – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

Representerar utvärderingsresultatsammanfattningen för projektets entiteter.

Name	Typ	Description
confusionMatrix	object	Representerar förvirringsmatrisen mellan två entiteter (de två entiteterna kan vara samma). Matrisen är mellan entiteten som har märkts och den entitet som förutsagts.
entities	<string, ConversationalAnalysisAuthoringEntityEvaluationSummary>	Representerar entiteternas utvärderingssammanfattning.
macroF1	number	Representerar makrot F1
macroPrecision	number	Representerar makroprecisionen
macroRecall	number	Representerar makroåterkallningen
microF1	number	Representerar micro F1
microPrecision	number	Representerar mikroprecisionen
microRecall	number	Representerar mikroåterkallningen

ConversationalAnalysisAuthoringEntityEvaluationSummary

Representerar utvärderingsresultatet för en entitet.

Name	Typ	Description
f1	number	Representerar modellens precision
falseNegativeCount	integer	Representerar antalet falska negativa
falsePositiveCount	integer	Representerar antalet falska positiva
precision	number	Representerar modellåterkallelsen
recall	number	Representerar modellens F1-poäng
trueNegativeCount	integer	Representerar antalet sanna negativa
truePositiveCount	integer	Representerar antalet sanna positiva

ConversationalAnalysisAuthoringEvaluationOptions

Representerar de alternativ som används för att köra utvärderingen.

Name	Typ	Description
kind	EvaluationKind	Representerar utvärderingstyp. Som standard är utvärderingstypen inställd på procent.
testingSplitPercentage	integer	Representerar delningsprocenten för testdatauppsättningen. Behövs bara om utvärderingstyp är procent.
trainingSplitPercentage	integer	Representerar delningsprocenten för träningsdatauppsättningen. Behövs bara om utvärderingstyp är procent.

ConversationalAnalysisAuthoringEvaluationSummary

Representerar utvärderingsresultatsammanfattningen.

Name	Typ	Description
entitiesEvaluation	ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Innehåller data som rör utvärdering av entiteter.
evaluationOptions	ConversationalAnalysisAuthoringEvaluationOptions	De alternativ som användes när utvärderingen kördes.
intentsEvaluation	ConversationalAnalysisAuthoringIntentsEvaluationSummary	Innehåller data som rör avsiktsutvärdering.

ConversationalAnalysisAuthoringIntentEvaluationSummary

Utvärderingssammanfattningen för en avsikt.

Name	Typ	Description
f1	number	Representerar modellens precision
falseNegativeCount	integer	Representerar antalet falska negativa
falsePositiveCount	integer	Representerar antalet falska positiva
precision	number	Representerar modellåterkallelsen
recall	number	Representerar modellens F1-poäng
trueNegativeCount	integer	Representerar antalet sanna negativa
truePositiveCount	integer	Representerar antalet sanna positiva

ConversationalAnalysisAuthoringIntentsEvaluationSummary

Representerar utvärderingssammanfattningen för projektets avsikter.

Name	Typ	Description
confusionMatrix	object	Representerar förvirringsmatrisen mellan två avsikter (de två avsikterna kan vara samma). Matrisen är mellan avsikten som har märkts och avsikten som förutsagts.
intents	<string, ConversationalAnalysisAuthoringIntentEvaluationSummary>	Representerar sammanfattningen av avsiktsutvärderingen.
macroF1	number	Representerar makrot F1
macroPrecision	number	Representerar makroprecisionen
macroRecall	number	Representerar makroåterkallningen
microF1	number	Representerar micro F1
microPrecision	number	Representerar mikroprecisionen
microRecall	number	Representerar mikroåterkallningen

Error

Felobjektet.

Name	Typ	Description
code	ErrorCode	En av en serverdefinierad uppsättning felkoder.
details	Error[]	En matris med information om specifika fel som ledde till det rapporterade felet.
innererror	InnerErrorModel	Ett objekt som innehåller mer specifik information än det aktuella objektet om felet.
message	string	En läsbar återgivning av felet.
target	string	Målet för felet.

ErrorCode

Felkod som kan läsas av människor.

Name	Typ	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Felsvar.

Name	Typ	Description
error	Error	Felobjektet.

EvaluationKind

Representerar utvärderingstyp. Som standard är utvärderingstypen inställd på procent.

Name	Typ	Description
manual	string	Dela upp data enligt den valda datauppsättningen för varje exempel i data.
percentage	string	Dela upp data i tränings- och testuppsättningar enligt användardefinierade procentsatser.

InnerErrorCode