Conversational Analysis Authoring - Get Model Evaluation Summary

Reference

Služba:: Azure AI Services

Verze rozhraní API:: 2022-05-01

Získá souhrn vyhodnocení natrénovaného modelu. Souhrn obsahuje vysoce kvalitní měření výkonu modelu, například F1, Přesnost, Úplnost atd.

GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2022-05-01

Parametry identifikátoru URI

Name	V	Vyžadováno	Typ	Description
Endpoint	path	True	string	Podporovaný koncový bod služeb Cognitive Services (např. https://.api.cognitiveservices.azure.com).
projectName	path	True	string	Název projektu, který se má použít.
trainedModelLabel	path	True	string	Popisek natrénovaného modelu.
api-version	query	True	string	Verze klientského rozhraní API

Hlavička požadavku

Name	Vyžadováno	Typ	Description
Ocp-Apim-Subscription-Key	True	string	Klíč předplatného pro prostředek služby language.

Odpovědi

Name	Typ	Description
200 OK	ConversationalAnalysisAuthoringEvaluationSummary	Seznam všech výsledků vyhodnocení
Other Status Codes	ErrorResponse	Odpověď na chybu.

Zabezpečení

Ocp-Apim-Subscription-Key

Klíč předplatného pro prostředek služby language.

Typ: apiKey
V: header

Příklady

Successful Get Model Evaluation Summary

Ukázkový požadavek

HTTP

GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2022-05-01

Ukázková odpověď

Stavový kód:: 200

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "Attachment": {
        "Attachment": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      },
      "Category": {
        "Category": {
          "normalizedValue": 91.666664,
          "rawValue": 11
        },
        "$none": {
          "normalizedValue": 8.333333,
          "rawValue": 1
        }
      },
      "ContactName": {
        "ContactName": {
          "normalizedValue": 91.666664,
          "rawValue": 22
        },
        "SenderName": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        },
        "$none": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "EmailSubject": {
        "EmailSubject": {
          "normalizedValue": 93.33333,
          "rawValue": 9.333334
        },
        "$none": {
          "normalizedValue": 6.6666665,
          "rawValue": 0.6666667
        }
      },
      "FromRelationshipName": {
        "FromRelationshipName": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "Line": {
        "Line": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "Message": {
        "Message": {
          "normalizedValue": 81.2063,
          "rawValue": 6.496504
        },
        "EmailSubject": {
          "normalizedValue": 7.43007,
          "rawValue": 0.5944056
        },
        "$none": {
          "normalizedValue": 9.120047,
          "rawValue": 0.7296037
        },
        "Date": {
          "normalizedValue": 2.2435899,
          "rawValue": 0.17948718
        }
      },
      "OrderReference": {
        "OrderReference": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "PositionReference": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "RelationshipName": {
        "RelationshipName": {
          "normalizedValue": 66.666664,
          "rawValue": 2
        },
        "$none": {
          "normalizedValue": 33.333332,
          "rawValue": 1
        }
      },
      "SearchTexts": {
        "SearchTexts": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "SenderName": {
        "SenderName": {
          "normalizedValue": 88.888885,
          "rawValue": 8
        },
        "ContactName": {
          "normalizedValue": 11.111111,
          "rawValue": 1
        }
      },
      "Time": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.739265,
          "rawValue": 162.575
        },
        "Category": {
          "normalizedValue": 0.2607362,
          "rawValue": 0.425
        }
      }
    },
    "entities": {
      "ContactName": {
        "f1": 0.9361702799797058,
        "precision": 0.95652174949646,
        "recall": 0.9166666865348816,
        "truePositiveCount": 22,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 2
      },
      "Category": {
        "f1": 0.8799999952316284,
        "precision": 0.8461538553237915,
        "recall": 0.9166666865348816,
        "truePositiveCount": 11,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "SenderName": {
        "f1": 0.8888888955116272,
        "precision": 0.8888888955116272,
        "recall": 0.8888888955116272,
        "truePositiveCount": 8,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      },
      "EmailSubject": {
        "f1": 0.8181817531585693,
        "precision": 0.75,
        "recall": 0.8999999761581421,
        "truePositiveCount": 9,
        "trueNegativeCount": 0,
        "falsePositiveCount": 3,
        "falseNegativeCount": 1
      },
      "Message": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 6,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 2
      },
      "Date": {
        "f1": 0.800000011920929,
        "precision": 0.6666666865348816,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 0
      },
      "OrderReference": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchTexts": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Attachment": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "RelationshipName": {
        "f1": 0.800000011920929,
        "precision": 1,
        "recall": 0.6666666865348816,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      },
      "Line": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Time": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 2
      },
      "FromRelationshipName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "PositionReference": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.8923077,
    "microPrecision": 0.8969072,
    "microRecall": 0.8877551,
    "macroF1": 0.7766601,
    "macroPrecision": 0.7755879,
    "macroRecall": 0.78849214
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "AddFlag": {
        "AddFlag": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "AddMore": {
        "AddMore": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "Cancel": {
        "Cancel": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "CheckMessages": {
        "CheckMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "Confirm": {
        "Confirm": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Delete": {
        "Delete": {
          "normalizedValue": 100,
          "rawValue": 5
        }
      },
      "Forward": {
        "Forward": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "None": {
        "None": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "QueryLastText": {
        "QueryLastText": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "ReadAloud": {
        "ReadAloud": {
          "normalizedValue": 100,
          "rawValue": 16
        }
      },
      "Reply": {
        "Reply": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "SearchMessages": {
        "SearchMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "SendEmail": {
        "SendEmail": {
          "normalizedValue": 100,
          "rawValue": 20
        }
      },
      "ShowNext": {
        "ShowNext": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "ShowPrevious": {
        "ShowPrevious": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      }
    },
    "intents": {
      "AddMore": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 104,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Cancel": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SendEmail": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 20,
        "trueNegativeCount": 101,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "CheckMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "AddFlag": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Reply": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ReadAloud": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 16,
        "trueNegativeCount": 105,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "QueryLastText": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Delete": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 5,
        "trueNegativeCount": 116,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Forward": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Confirm": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowNext": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowPrevious": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 118,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "None": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 120,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      }
    },
    "microF1": 1,
    "microPrecision": 1,
    "microRecall": 1,
    "macroF1": 1,
    "macroPrecision": 1,
    "macroRecall": 1
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definice

Name	Description
ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Představuje souhrn výsledků vyhodnocení pro entity projektu.
ConversationalAnalysisAuthoringEntityEvaluationSummary	Představuje výsledek vyhodnocení pro entitu.
ConversationalAnalysisAuthoringEvaluationOptions	Představuje možnosti použité při vyhodnocování.
ConversationalAnalysisAuthoringEvaluationSummary	Představuje souhrn výsledků vyhodnocení.
ConversationalAnalysisAuthoringIntentEvaluationSummary	Souhrn vyhodnocení záměru.
ConversationalAnalysisAuthoringIntentsEvaluationSummary	Představuje souhrn vyhodnocení pro záměry projektu.
Error	Objekt chyby.
ErrorCode	Kód chyby čitelný pro člověka.
ErrorResponse	Odpověď na chybu.
EvaluationKind	Představuje druh vyhodnocení. Ve výchozím nastavení je druh vyhodnocení nastavený na procento.
InnerErrorCode	Kód chyby čitelný pro člověka.
InnerErrorModel	Objekt obsahující konkrétnější informace o chybě. Podle pokynů k rozhraní Microsoft One API – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

Představuje souhrn výsledků vyhodnocení pro entity projektu.

Name	Typ	Description
confusionMatrix	object	Představuje konfuzní matici mezi dvěma entitami (dvě entity můžou být stejné). Matice je mezi entitou, která byla označena, a entitou, která byla predikována.
entities	<string, ConversationalAnalysisAuthoringEntityEvaluationSummary>	Představuje souhrn vyhodnocení entit.
macroF1	number	Představuje makro F1.
macroPrecision	number	Představuje přesnost makra.
macroRecall	number	Představuje úplnost makra.
microF1	number	Představuje mikro F1.
microPrecision	number	Představuje mikropřesnost.
microRecall	number	Představuje mikropovolu.

ConversationalAnalysisAuthoringEntityEvaluationSummary

Představuje výsledek vyhodnocení pro entitu.

Name	Typ	Description
f1	number	Představuje přesnost modelu.
falseNegativeCount	integer	Představuje počet falešně negativních výsledků.
falsePositiveCount	integer	Představuje počet falešně pozitivních výsledků.
precision	number	Představuje úplnost modelu.
recall	number	Představuje skóre modelu F1.
trueNegativeCount	integer	Představuje počet pravdivě negativních hodnot.
truePositiveCount	integer	Představuje počet pravdivě pozitivních

ConversationalAnalysisAuthoringEvaluationOptions

Představuje možnosti použité při vyhodnocování.

Name	Typ	Description
kind	EvaluationKind	Představuje druh vyhodnocení. Ve výchozím nastavení je druh vyhodnocení nastavený na procento.
testingSplitPercentage	integer	Představuje procento rozdělení testovací datové sady. Pouze v případě, že druh hodnocení je procento.
trainingSplitPercentage	integer	Představuje procento rozdělení trénovací datové sady. Pouze v případě, že druh hodnocení je procento.

ConversationalAnalysisAuthoringEvaluationSummary

Představuje souhrn výsledků vyhodnocení.

Name	Typ	Description
entitiesEvaluation	ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Obsahuje data související s vyhodnocením entit.
evaluationOptions	ConversationalAnalysisAuthoringEvaluationOptions	Možnosti, které byly použity při spuštění vyhodnocení.
intentsEvaluation	ConversationalAnalysisAuthoringIntentsEvaluationSummary	Obsahuje data související s vyhodnocením záměrů.

ConversationalAnalysisAuthoringIntentEvaluationSummary

Souhrn vyhodnocení záměru.

Name	Typ	Description
f1	number	Představuje přesnost modelu.
falseNegativeCount	integer	Představuje počet falešně negativních výsledků.
falsePositiveCount	integer	Představuje počet falešně pozitivních výsledků.
precision	number	Představuje úplnost modelu.
recall	number	Představuje skóre modelu F1.
trueNegativeCount	integer	Představuje počet pravdivě negativních hodnot.
truePositiveCount	integer	Představuje počet pravdivě pozitivních

ConversationalAnalysisAuthoringIntentsEvaluationSummary

Představuje souhrn vyhodnocení pro záměry projektu.

Name	Typ	Description
confusionMatrix	object	Představuje konfuzní matici mezi dvěma záměry (oba záměry můžou být stejné). Matice je mezi označeným záměrem a záměrem, který byl předpovězen.
intents	<string, ConversationalAnalysisAuthoringIntentEvaluationSummary>	Představuje souhrn vyhodnocení záměrů.
macroF1	number	Představuje makro F1.
macroPrecision	number	Představuje přesnost makra.
macroRecall	number	Představuje úplnost makra.
microF1	number	Představuje mikro F1.
microPrecision	number	Představuje mikropřesnost.
microRecall	number	Představuje mikropovolu.

Error

Objekt chyby.

Name	Typ	Description
code	ErrorCode	Jeden ze serverem definované sady kódů chyb.
details	Error[]	Pole podrobností o konkrétních chybách, které vedly k této nahlášené chybě.
innererror	InnerErrorModel	Objekt obsahující konkrétnější informace o chybě než aktuální objekt.
message	string	Lidsky čitelná reprezentace chyby.
target	string	Cíl chyby.

ErrorCode

Kód chyby čitelný pro člověka.

Name	Typ	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Odpověď na chybu.

Name	Typ	Description
error	Error	Objekt chyby.

EvaluationKind

Představuje druh vyhodnocení. Ve výchozím nastavení je druh vyhodnocení nastavený na procento.

Name	Typ	Description
manual	string	Rozdělte data podle zvolené datové sady pro každý příklad v datech.
percentage	string	Rozdělte data do trénovacích a testovacích sad podle procent definovaných uživatelem.

InnerErrorCode