Conversational Analysis Authoring - Get Model Evaluation Summary

Odwołanie

Usługa:: Azure AI Services

Wersja interfejsu API:: 2022-05-01

Pobiera podsumowanie oceny wytrenowanego modelu. Podsumowanie zawiera pomiary wydajności wysokiego poziomu modelu, np. F1, Precyzja, Kompletność itp.

GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2022-05-01

Parametry identyfikatora URI

Nazwa	W	Wymagane	Typ	Opis
Endpoint	path	True	string	Obsługiwany punkt końcowy usług Cognitive Services (np. https://.api.cognitiveservices.azure.com).
projectName	path	True	string maxLength: 100	Nazwa projektu do użycia.
trainedModelLabel	path	True	string	Wytrenowana etykieta modelu.
api-version	query	True	string	Wersja interfejsu API klienta.

Nagłówek żądania

Nazwa	Wymagane	Typ	Opis
Ocp-Apim-Subscription-Key	True	string	Klucz subskrypcji zasobu usługi językowej.

Odpowiedzi

Nazwa	Typ	Opis
200 OK	ConversationalAnalysisAuthoringEvaluationSummary	Lista wszystkich wyników oceny.
Other Status Codes	ErrorResponse	Odpowiedź na błąd.

Zabezpieczenia

Ocp-Apim-Subscription-Key

Klucz subskrypcji zasobu usługi językowej.

Typ: apiKey
W: header

Przykłady

Successful Get Model Evaluation Summary

Przykładowe żądanie

HTTP

GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2022-05-01

Przykładowa odpowiedź

Kod stanu:: 200

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "Attachment": {
        "Attachment": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      },
      "Category": {
        "Category": {
          "normalizedValue": 91.666664,
          "rawValue": 11
        },
        "$none": {
          "normalizedValue": 8.333333,
          "rawValue": 1
        }
      },
      "ContactName": {
        "ContactName": {
          "normalizedValue": 91.666664,
          "rawValue": 22
        },
        "SenderName": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        },
        "$none": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "EmailSubject": {
        "EmailSubject": {
          "normalizedValue": 93.33333,
          "rawValue": 9.333334
        },
        "$none": {
          "normalizedValue": 6.6666665,
          "rawValue": 0.6666667
        }
      },
      "FromRelationshipName": {
        "FromRelationshipName": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "Line": {
        "Line": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "Message": {
        "Message": {
          "normalizedValue": 81.2063,
          "rawValue": 6.496504
        },
        "EmailSubject": {
          "normalizedValue": 7.43007,
          "rawValue": 0.5944056
        },
        "$none": {
          "normalizedValue": 9.120047,
          "rawValue": 0.7296037
        },
        "Date": {
          "normalizedValue": 2.2435899,
          "rawValue": 0.17948718
        }
      },
      "OrderReference": {
        "OrderReference": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "PositionReference": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "RelationshipName": {
        "RelationshipName": {
          "normalizedValue": 66.666664,
          "rawValue": 2
        },
        "$none": {
          "normalizedValue": 33.333332,
          "rawValue": 1
        }
      },
      "SearchTexts": {
        "SearchTexts": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "SenderName": {
        "SenderName": {
          "normalizedValue": 88.888885,
          "rawValue": 8
        },
        "ContactName": {
          "normalizedValue": 11.111111,
          "rawValue": 1
        }
      },
      "Time": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.739265,
          "rawValue": 162.575
        },
        "Category": {
          "normalizedValue": 0.2607362,
          "rawValue": 0.425
        }
      }
    },
    "entities": {
      "ContactName": {
        "f1": 0.9361702799797058,
        "precision": 0.95652174949646,
        "recall": 0.9166666865348816,
        "truePositiveCount": 22,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 2
      },
      "Category": {
        "f1": 0.8799999952316284,
        "precision": 0.8461538553237915,
        "recall": 0.9166666865348816,
        "truePositiveCount": 11,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "SenderName": {
        "f1": 0.8888888955116272,
        "precision": 0.8888888955116272,
        "recall": 0.8888888955116272,
        "truePositiveCount": 8,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      },
      "EmailSubject": {
        "f1": 0.8181817531585693,
        "precision": 0.75,
        "recall": 0.8999999761581421,
        "truePositiveCount": 9,
        "trueNegativeCount": 0,
        "falsePositiveCount": 3,
        "falseNegativeCount": 1
      },
      "Message": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 6,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 2
      },
      "Date": {
        "f1": 0.800000011920929,
        "precision": 0.6666666865348816,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 0
      },
      "OrderReference": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchTexts": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Attachment": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "RelationshipName": {
        "f1": 0.800000011920929,
        "precision": 1,
        "recall": 0.6666666865348816,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      },
      "Line": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Time": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 2
      },
      "FromRelationshipName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "PositionReference": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.8923077,
    "microPrecision": 0.8969072,
    "microRecall": 0.8877551,
    "macroF1": 0.7766601,
    "macroPrecision": 0.7755879,
    "macroRecall": 0.78849214
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "AddFlag": {
        "AddFlag": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "AddMore": {
        "AddMore": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "Cancel": {
        "Cancel": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "CheckMessages": {
        "CheckMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "Confirm": {
        "Confirm": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Delete": {
        "Delete": {
          "normalizedValue": 100,
          "rawValue": 5
        }
      },
      "Forward": {
        "Forward": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "None": {
        "None": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "QueryLastText": {
        "QueryLastText": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "ReadAloud": {
        "ReadAloud": {
          "normalizedValue": 100,
          "rawValue": 16
        }
      },
      "Reply": {
        "Reply": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "SearchMessages": {
        "SearchMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "SendEmail": {
        "SendEmail": {
          "normalizedValue": 100,
          "rawValue": 20
        }
      },
      "ShowNext": {
        "ShowNext": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "ShowPrevious": {
        "ShowPrevious": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      }
    },
    "intents": {
      "AddMore": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 104,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Cancel": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SendEmail": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 20,
        "trueNegativeCount": 101,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "CheckMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "AddFlag": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Reply": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ReadAloud": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 16,
        "trueNegativeCount": 105,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "QueryLastText": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Delete": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 5,
        "trueNegativeCount": 116,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Forward": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Confirm": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowNext": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowPrevious": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 118,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "None": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 120,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      }
    },
    "microF1": 1,
    "microPrecision": 1,
    "microRecall": 1,
    "macroF1": 1,
    "macroPrecision": 1,
    "macroRecall": 1
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definicje

Nazwa	Opis
ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Reprezentuje podsumowanie wyników oceny dla jednostek projektu.
ConversationalAnalysisAuthoringEntityEvaluationSummary	Reprezentuje wynik oceny dla jednostki.
ConversationalAnalysisAuthoringEvaluationOptions	Reprezentuje opcje używane do uruchamiania oceny.
ConversationalAnalysisAuthoringEvaluationSummary	Reprezentuje podsumowanie wyników oceny.
ConversationalAnalysisAuthoringIntentEvaluationSummary	Podsumowanie oceny dla intencji.
ConversationalAnalysisAuthoringIntentsEvaluationSummary	Reprezentuje podsumowanie oceny dla intencji projektu.
Error	Obiekt błędu.
ErrorCode	Kod błędu czytelny dla człowieka.
ErrorResponse	Odpowiedź na błąd.
EvaluationKind	Reprezentuje rodzaj oceny. Domyślnie rodzaj oceny jest ustawiony na wartość procentową.
InnerErrorCode	Kod błędu czytelny dla człowieka.
InnerErrorModel	Obiekt zawierający bardziej szczegółowe informacje o błędzie. Zgodnie z wytycznymi dotyczącymi interfejsu MICROSOFT One API — https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

Objekt

Reprezentuje podsumowanie wyników oceny dla jednostek projektu.

Nazwa	Typ	Opis
confusionMatrix	object	Reprezentuje macierz pomyłek między dwiema jednostkami (dwie jednostki mogą być takie same). Macierz znajduje się między jednostką, która została oznaczona i przewidywaną jednostką.
entities	<string, ConversationalAnalysisAuthoringEntityEvaluationSummary>	Reprezentuje podsumowanie oceny jednostek.
macroF1	number (float)	Reprezentuje makro F1
macroPrecision	number (float)	Reprezentuje precyzję makra
macroRecall	number (float)	Reprezentuje odwołanie makra
microF1	number (float)	Reprezentuje mikro F1
microPrecision	number (float)	Reprezentuje mikroprecyzjność
microRecall	number (float)	Reprezentuje mikrowoływanie

ConversationalAnalysisAuthoringEntityEvaluationSummary

Objekt

Reprezentuje wynik oceny dla jednostki.

Nazwa	Typ	Opis
f1	number (double)	Reprezentuje precyzję modelu
falseNegativeCount	integer (int32)	Reprezentuje liczbę wyników fałszywie ujemnych
falsePositiveCount	integer (int32)	Reprezentuje liczbę wyników fałszywie dodatnich
precision	number (double)	Reprezentuje kompletność modelu
recall	number (double)	Reprezentuje wynik modelu F1
trueNegativeCount	integer (int32)	Reprezentuje liczbę wartości prawdziwie ujemnych
truePositiveCount	integer (int32)	Reprezentuje liczbę wyników prawdziwie dodatnich

ConversationalAnalysisAuthoringEvaluationOptions

Objekt

Reprezentuje opcje używane do uruchamiania oceny.

Nazwa	Typ	Opis
kind	EvaluationKind	Reprezentuje rodzaj oceny. Domyślnie rodzaj oceny jest ustawiony na wartość procentową.
testingSplitPercentage	integer (int32)	Reprezentuje procent podziału zestawu danych testowych. Wymagany tylko w przypadku, gdy rodzaj oceny jest wartością procentową.
trainingSplitPercentage	integer (int32)	Reprezentuje procent podziału zestawu danych szkoleniowych. Wymagany tylko w przypadku, gdy rodzaj oceny jest wartością procentową.

ConversationalAnalysisAuthoringEvaluationSummary

Objekt

Reprezentuje podsumowanie wyników oceny.

Nazwa	Typ	Opis
entitiesEvaluation	ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Zawiera dane związane z oceną jednostek.
evaluationOptions	ConversationalAnalysisAuthoringEvaluationOptions	Opcje, które zostały użyte podczas uruchamiania oceny.
intentsEvaluation	ConversationalAnalysisAuthoringIntentsEvaluationSummary	Zawiera dane związane z oceną intencji.

ConversationalAnalysisAuthoringIntentEvaluationSummary

Objekt

Podsumowanie oceny dla intencji.

Nazwa	Typ	Opis
f1	number (double)	Reprezentuje precyzję modelu
falseNegativeCount	integer (int32)	Reprezentuje liczbę wyników fałszywie ujemnych
falsePositiveCount	integer (int32)	Reprezentuje liczbę wyników fałszywie dodatnich
precision	number (double)	Reprezentuje kompletność modelu
recall	number (double)	Reprezentuje wynik modelu F1
trueNegativeCount	integer (int32)	Reprezentuje liczbę wartości prawdziwie ujemnych
truePositiveCount	integer (int32)	Reprezentuje liczbę wyników prawdziwie dodatnich

ConversationalAnalysisAuthoringIntentsEvaluationSummary

Objekt

Reprezentuje podsumowanie oceny dla intencji projektu.

Nazwa	Typ	Opis
confusionMatrix	object	Reprezentuje macierz pomyłek między dwiema intencjami (dwie intencje mogą być takie same). Macierz znajduje się między intencją, która została oznaczona i przewidywaną intencją.
intents	<string, ConversationalAnalysisAuthoringIntentEvaluationSummary>	Reprezentuje podsumowanie oceny intencji.
macroF1	number (float)	Reprezentuje makro F1
macroPrecision	number (float)	Reprezentuje precyzję makra
macroRecall	number (float)	Reprezentuje odwołanie makra
microF1	number (float)	Reprezentuje mikro F1
microPrecision	number (float)	Reprezentuje mikroprecyzjność
microRecall	number (float)	Reprezentuje mikrowoływanie

Error

Objekt

Obiekt błędu.

Nazwa	Typ	Opis
code	ErrorCode	Jeden z zdefiniowanych przez serwer zestaw kodów błędów.
details	Error[]	Tablica szczegółów dotyczących określonych błędów, które doprowadziły do tego zgłoszonego błędu.
innererror	InnerErrorModel	Obiekt zawierający bardziej szczegółowe informacje niż bieżący obiekt o błędzie.
message	string	Czytelna dla człowieka reprezentacja błędu.
target	string	Element docelowy błędu.

ErrorCode

Wyliczanie

Kod błędu czytelny dla człowieka.

Wartość	Opis
AzureCognitiveSearchIndexLimitReached
AzureCognitiveSearchIndexNotFound
AzureCognitiveSearchNotFound
AzureCognitiveSearchThrottling
Conflict
Forbidden
InternalServerError
InvalidArgument
InvalidRequest
NotFound
OperationNotFound
ProjectNotFound
QuotaExceeded
ServiceUnavailable
Timeout
TooManyRequests
Unauthorized
Warning

ErrorResponse

Objekt

Odpowiedź na błąd.

Nazwa	Typ	Opis
error	Error	Obiekt błędu.

EvaluationKind

Wyliczanie

Reprezentuje rodzaj oceny. Domyślnie rodzaj oceny jest ustawiony na wartość procentową.

Wartość	Opis
manual	Podziel dane zgodnie z wybranym zestawem danych dla każdego przykładu danych.
percentage	Podziel dane na zestawy treningowe i testowe zgodnie z wartościami procentowymi zdefiniowanymi przez użytkownika.

InnerErrorCode

Wyliczanie

Kod błędu czytelny dla człowieka.

Wartość	Opis
AzureCognitiveSearchNotFound
AzureCognitiveSearchThrottling
EmptyRequest
ExtractionFailure
InvalidCountryHint
InvalidDocument
InvalidDocumentBatch
InvalidParameterValue
InvalidRequest
InvalidRequestBodyFormat
KnowledgeBaseNotFound
MissingInputDocuments
ModelVersionIncorrect
UnsupportedLanguageCode

InnerErrorModel

Objekt

Obiekt zawierający bardziej szczegółowe informacje o błędzie. Zgodnie z wytycznymi dotyczącymi interfejsu MICROSOFT One API — https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Nazwa	Typ	Opis
code	InnerErrorCode	Jeden z zdefiniowanych przez serwer zestaw kodów błędów.
details	object	Szczegóły błędu.
innererror	InnerErrorModel	Obiekt zawierający bardziej szczegółowe informacje niż bieżący obiekt o błędzie.
message	string	Komunikat o błędzie.
target	string	Element docelowy błędu.

Udostępnij za pośrednictwem

Conversational Analysis Authoring - Get Model Evaluation Summary

Parametry identyfikatora URI

Nagłówek żądania

Odpowiedzi

Zabezpieczenia

Ocp-Apim-Subscription-Key

Przykłady

Successful Get Model Evaluation Summary

Przykładowe żądanie

Przykładowa odpowiedź

Definicje

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

ConversationalAnalysisAuthoringEntityEvaluationSummary

ConversationalAnalysisAuthoringEvaluationOptions

ConversationalAnalysisAuthoringEvaluationSummary

ConversationalAnalysisAuthoringIntentEvaluationSummary

ConversationalAnalysisAuthoringIntentsEvaluationSummary

Error

ErrorCode

ErrorResponse

EvaluationKind

InnerErrorCode

InnerErrorModel

Dodatkowe zasoby