Conversational Analysis Authoring - Get Model Evaluation Summary
학습된 모델의 평가 요약을 가져옵니다. 요약에는 모델의 높은 수준의 성능 측정(예: F1, 정밀도, 재현율 등)이 포함됩니다.
GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2022-05-01URI 매개 변수
| Name | In(다음 안에) | 필수 | 형식 | Description |
|---|---|---|---|---|
|
Endpoint
|
path | True |
string |
지원되는 Cognitive Services 엔드포인트(예: https://.api.cognitiveservices.azure.com). |
|
project
|
path | True |
string |
사용할 프로젝트의 이름입니다. |
|
trained
|
path | True |
string |
학습된 모델 레이블입니다. |
|
api-version
|
query | True |
string |
클라이언트 API 버전입니다. |
요청 헤더
| Name | 필수 | 형식 | Description |
|---|---|---|---|
| Ocp-Apim-Subscription-Key | True |
string |
언어 서비스 리소스에 대한 구독 키입니다. |
응답
| Name | 형식 | Description |
|---|---|---|
| 200 OK |
모든 평가 결과 목록입니다. |
|
| Other Status Codes |
오류 응답입니다. |
보안
Ocp-Apim-Subscription-Key
언어 서비스 리소스에 대한 구독 키입니다.
형식:
apiKey
In(다음 안에):
header
예제
Successful Get Model Evaluation Summary
샘플 요청
GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2022-05-01
샘플 응답
{
"entitiesEvaluation": {
"confusionMatrix": {
"Attachment": {
"Attachment": {
"normalizedValue": 100,
"rawValue": 3
}
},
"Category": {
"Category": {
"normalizedValue": 91.666664,
"rawValue": 11
},
"$none": {
"normalizedValue": 8.333333,
"rawValue": 1
}
},
"ContactName": {
"ContactName": {
"normalizedValue": 91.666664,
"rawValue": 22
},
"SenderName": {
"normalizedValue": 4.1666665,
"rawValue": 1
},
"$none": {
"normalizedValue": 4.1666665,
"rawValue": 1
}
},
"Date": {
"Date": {
"normalizedValue": 100,
"rawValue": 2
}
},
"EmailSubject": {
"EmailSubject": {
"normalizedValue": 93.33333,
"rawValue": 9.333334
},
"$none": {
"normalizedValue": 6.6666665,
"rawValue": 0.6666667
}
},
"FromRelationshipName": {
"FromRelationshipName": {
"normalizedValue": 100,
"rawValue": 1
}
},
"Line": {
"Line": {
"normalizedValue": 100,
"rawValue": 2
}
},
"Message": {
"Message": {
"normalizedValue": 81.2063,
"rawValue": 6.496504
},
"EmailSubject": {
"normalizedValue": 7.43007,
"rawValue": 0.5944056
},
"$none": {
"normalizedValue": 9.120047,
"rawValue": 0.7296037
},
"Date": {
"normalizedValue": 2.2435899,
"rawValue": 0.17948718
}
},
"OrderReference": {
"OrderReference": {
"normalizedValue": 100,
"rawValue": 17
}
},
"PositionReference": {
"$none": {
"normalizedValue": 100,
"rawValue": 1
}
},
"RelationshipName": {
"RelationshipName": {
"normalizedValue": 66.666664,
"rawValue": 2
},
"$none": {
"normalizedValue": 33.333332,
"rawValue": 1
}
},
"SearchTexts": {
"SearchTexts": {
"normalizedValue": 100,
"rawValue": 4
}
},
"SenderName": {
"SenderName": {
"normalizedValue": 88.888885,
"rawValue": 8
},
"ContactName": {
"normalizedValue": 11.111111,
"rawValue": 1
}
},
"Time": {
"$none": {
"normalizedValue": 100,
"rawValue": 2
}
},
"$none": {
"$none": {
"normalizedValue": 99.739265,
"rawValue": 162.575
},
"Category": {
"normalizedValue": 0.2607362,
"rawValue": 0.425
}
}
},
"entities": {
"ContactName": {
"f1": 0.9361702799797058,
"precision": 0.95652174949646,
"recall": 0.9166666865348816,
"truePositiveCount": 22,
"trueNegativeCount": 0,
"falsePositiveCount": 1,
"falseNegativeCount": 2
},
"Category": {
"f1": 0.8799999952316284,
"precision": 0.8461538553237915,
"recall": 0.9166666865348816,
"truePositiveCount": 11,
"trueNegativeCount": 0,
"falsePositiveCount": 2,
"falseNegativeCount": 1
},
"SenderName": {
"f1": 0.8888888955116272,
"precision": 0.8888888955116272,
"recall": 0.8888888955116272,
"truePositiveCount": 8,
"trueNegativeCount": 0,
"falsePositiveCount": 1,
"falseNegativeCount": 1
},
"EmailSubject": {
"f1": 0.8181817531585693,
"precision": 0.75,
"recall": 0.8999999761581421,
"truePositiveCount": 9,
"trueNegativeCount": 0,
"falsePositiveCount": 3,
"falseNegativeCount": 1
},
"Message": {
"f1": 0.75,
"precision": 0.75,
"recall": 0.75,
"truePositiveCount": 6,
"trueNegativeCount": 0,
"falsePositiveCount": 2,
"falseNegativeCount": 2
},
"Date": {
"f1": 0.800000011920929,
"precision": 0.6666666865348816,
"recall": 1,
"truePositiveCount": 2,
"trueNegativeCount": 0,
"falsePositiveCount": 1,
"falseNegativeCount": 0
},
"OrderReference": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 17,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"SearchTexts": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Attachment": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 3,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"RelationshipName": {
"f1": 0.800000011920929,
"precision": 1,
"recall": 0.6666666865348816,
"truePositiveCount": 2,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 1
},
"Line": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 2,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Time": {
"f1": 0,
"precision": 0,
"recall": 0,
"truePositiveCount": 0,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 2
},
"FromRelationshipName": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 1,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"PositionReference": {
"f1": 0,
"precision": 0,
"recall": 0,
"truePositiveCount": 0,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 1
}
},
"microF1": 0.8923077,
"microPrecision": 0.8969072,
"microRecall": 0.8877551,
"macroF1": 0.7766601,
"macroPrecision": 0.7755879,
"macroRecall": 0.78849214
},
"intentsEvaluation": {
"confusionMatrix": {
"AddFlag": {
"AddFlag": {
"normalizedValue": 100,
"rawValue": 6
}
},
"AddMore": {
"AddMore": {
"normalizedValue": 100,
"rawValue": 17
}
},
"Cancel": {
"Cancel": {
"normalizedValue": 100,
"rawValue": 9
}
},
"CheckMessages": {
"CheckMessages": {
"normalizedValue": 100,
"rawValue": 9
}
},
"Confirm": {
"Confirm": {
"normalizedValue": 100,
"rawValue": 4
}
},
"Delete": {
"Delete": {
"normalizedValue": 100,
"rawValue": 5
}
},
"Forward": {
"Forward": {
"normalizedValue": 100,
"rawValue": 6
}
},
"None": {
"None": {
"normalizedValue": 100,
"rawValue": 1
}
},
"QueryLastText": {
"QueryLastText": {
"normalizedValue": 100,
"rawValue": 6
}
},
"ReadAloud": {
"ReadAloud": {
"normalizedValue": 100,
"rawValue": 16
}
},
"Reply": {
"Reply": {
"normalizedValue": 100,
"rawValue": 6
}
},
"SearchMessages": {
"SearchMessages": {
"normalizedValue": 100,
"rawValue": 9
}
},
"SendEmail": {
"SendEmail": {
"normalizedValue": 100,
"rawValue": 20
}
},
"ShowNext": {
"ShowNext": {
"normalizedValue": 100,
"rawValue": 4
}
},
"ShowPrevious": {
"ShowPrevious": {
"normalizedValue": 100,
"rawValue": 3
}
}
},
"intents": {
"AddMore": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 17,
"trueNegativeCount": 104,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Cancel": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 9,
"trueNegativeCount": 112,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"SendEmail": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 20,
"trueNegativeCount": 101,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"CheckMessages": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 9,
"trueNegativeCount": 112,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"AddFlag": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 6,
"trueNegativeCount": 115,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Reply": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 6,
"trueNegativeCount": 115,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"ReadAloud": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 16,
"trueNegativeCount": 105,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"QueryLastText": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 6,
"trueNegativeCount": 115,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"SearchMessages": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 9,
"trueNegativeCount": 112,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Delete": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 5,
"trueNegativeCount": 116,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Forward": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 6,
"trueNegativeCount": 115,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Confirm": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 117,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"ShowNext": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 117,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"ShowPrevious": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 3,
"trueNegativeCount": 118,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"None": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 1,
"trueNegativeCount": 120,
"falsePositiveCount": 0,
"falseNegativeCount": 0
}
},
"microF1": 1,
"microPrecision": 1,
"microRecall": 1,
"macroF1": 1,
"macroPrecision": 1,
"macroRecall": 1
},
"evaluationOptions": {
"kind": "percentage",
"trainingSplitPercentage": 80,
"testingSplitPercentage": 20
}
}정의
| Name | Description |
|---|---|
|
Conversational |
프로젝트 엔터티에 대한 평가 결과 요약을 나타냅니다. |
|
Conversational |
엔터티에 대한 평가 결과를 나타냅니다. |
|
Conversational |
평가를 실행하는 데 사용되는 옵션을 나타냅니다. |
|
Conversational |
평가 결과 요약을 나타냅니다. |
|
Conversational |
의도에 대한 평가 요약입니다. |
|
Conversational |
프로젝트 의도에 대한 평가 요약을 나타냅니다. |
| Error |
Error 개체. |
|
Error |
사람이 읽을 수 있는 오류 코드입니다. |
|
Error |
오류 응답입니다. |
|
Evaluation |
평가 종류를 나타냅니다. 기본적으로 평가 종류는 백분율로 설정됩니다. |
|
Inner |
사람이 읽을 수 있는 오류 코드입니다. |
|
Inner |
오류에 대한 보다 구체적인 정보를 포함하는 개체입니다. Microsoft One API 지침에 따라 - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses. |
ConversationalAnalysisAuthoringEntitiesEvaluationSummary
프로젝트 엔터티에 대한 평가 결과 요약을 나타냅니다.
| Name | 형식 | Description |
|---|---|---|
| confusionMatrix |
object |
두 엔터티 간의 혼동 행렬을 나타냅니다(두 엔터티는 같을 수 있음). 행렬은 레이블이 지정된 엔터티와 예측된 엔터티 사이에 있습니다. |
| entities |
<string,
Conversational |
엔터티 평가 요약을 나타냅니다. |
| macroF1 |
number |
매크로 F1을 나타냅니다. |
| macroPrecision |
number |
매크로 정밀도를 나타냅니다. |
| macroRecall |
number |
매크로 회수를 나타냅니다. |
| microF1 |
number |
마이크로 F1을 나타냅니다. |
| microPrecision |
number |
마이크로 정밀도를 나타냅니다. |
| microRecall |
number |
마이크로 회수를 나타냅니다. |
ConversationalAnalysisAuthoringEntityEvaluationSummary
엔터티에 대한 평가 결과를 나타냅니다.
| Name | 형식 | Description |
|---|---|---|
| f1 |
number |
모델 정밀도를 나타냅니다. |
| falseNegativeCount |
integer |
가음성 수를 나타냅니다. |
| falsePositiveCount |
integer |
가양성 수를 나타냅니다. |
| precision |
number |
모델 회수를 나타냅니다. |
| recall |
number |
모델 F1 점수를 나타냅니다. |
| trueNegativeCount |
integer |
true 음수의 수를 나타냅니다. |
| truePositiveCount |
integer |
진양성 수를 나타냅니다. |
ConversationalAnalysisAuthoringEvaluationOptions
평가를 실행하는 데 사용되는 옵션을 나타냅니다.
| Name | 형식 | Description |
|---|---|---|
| kind |
평가 종류를 나타냅니다. 기본적으로 평가 종류는 백분율로 설정됩니다. |
|
| testingSplitPercentage |
integer |
테스트 데이터 세트 분할 비율을 나타냅니다. 평가 종류가 백분율인 경우에만 필요합니다. |
| trainingSplitPercentage |
integer |
학습 데이터 세트 분할 비율을 나타냅니다. 평가 종류가 백분율인 경우에만 필요합니다. |
ConversationalAnalysisAuthoringEvaluationSummary
평가 결과 요약을 나타냅니다.
| Name | 형식 | Description |
|---|---|---|
| entitiesEvaluation |
엔터티 평가와 관련된 데이터를 포함합니다. |
|
| evaluationOptions |
평가를 실행하는 동안 사용된 옵션입니다. |
|
| intentsEvaluation |
의도 평가와 관련된 데이터를 포함합니다. |
ConversationalAnalysisAuthoringIntentEvaluationSummary
의도에 대한 평가 요약입니다.
| Name | 형식 | Description |
|---|---|---|
| f1 |
number |
모델 정밀도를 나타냅니다. |
| falseNegativeCount |
integer |
가음성 수를 나타냅니다. |
| falsePositiveCount |
integer |
가양성 수를 나타냅니다. |
| precision |
number |
모델 회수를 나타냅니다. |
| recall |
number |
모델 F1 점수를 나타냅니다. |
| trueNegativeCount |
integer |
true 음수의 수를 나타냅니다. |
| truePositiveCount |
integer |
진양성 수를 나타냅니다. |
ConversationalAnalysisAuthoringIntentsEvaluationSummary
프로젝트 의도에 대한 평가 요약을 나타냅니다.
| Name | 형식 | Description |
|---|---|---|
| confusionMatrix |
object |
두 의도 간의 혼동 행렬을 나타냅니다(두 의도는 같을 수 있음). 행렬은 레이블이 지정된 의도와 예측된 의도 사이에 있습니다. |
| intents |
<string,
Conversational |
의도 평가 요약을 나타냅니다. |
| macroF1 |
number |
매크로 F1을 나타냅니다. |
| macroPrecision |
number |
매크로 정밀도를 나타냅니다. |
| macroRecall |
number |
매크로 회수를 나타냅니다. |
| microF1 |
number |
마이크로 F1을 나타냅니다. |
| microPrecision |
number |
마이크로 정밀도를 나타냅니다. |
| microRecall |
number |
마이크로 회수를 나타냅니다. |
Error
Error 개체.
| Name | 형식 | Description |
|---|---|---|
| code |
서버 정의 오류 코드 집합 중 하나입니다. |
|
| details |
Error[] |
이 보고된 오류로 이어진 특정 오류에 대한 세부 정보 배열입니다. |
| innererror |
오류에 대한 현재 개체보다 더 구체적인 정보를 포함하는 개체입니다. |
|
| message |
string |
사람이 읽을 수 있는 오류 표현입니다. |
| target |
string |
오류의 대상입니다. |
ErrorCode
사람이 읽을 수 있는 오류 코드입니다.
| Name | 형식 | Description |
|---|---|---|
| AzureCognitiveSearchIndexLimitReached |
string |
|
| AzureCognitiveSearchIndexNotFound |
string |
|
| AzureCognitiveSearchNotFound |
string |
|
| AzureCognitiveSearchThrottling |
string |
|
| Conflict |
string |
|
| Forbidden |
string |
|
| InternalServerError |
string |
|
| InvalidArgument |
string |
|
| InvalidRequest |
string |
|
| NotFound |
string |
|
| OperationNotFound |
string |
|
| ProjectNotFound |
string |
|
| QuotaExceeded |
string |
|
| ServiceUnavailable |
string |
|
| Timeout |
string |
|
| TooManyRequests |
string |
|
| Unauthorized |
string |
|
| Warning |
string |
ErrorResponse
오류 응답입니다.
| Name | 형식 | Description |
|---|---|---|
| error |
Error 개체. |
EvaluationKind
평가 종류를 나타냅니다. 기본적으로 평가 종류는 백분율로 설정됩니다.
| Name | 형식 | Description |
|---|---|---|
| manual |
string |
데이터의 모든 예제에 대해 선택한 데이터 세트에 따라 데이터를 분할합니다. |
| percentage |
string |
사용자 정의 백분율에 따라 데이터를 학습 및 테스트 집합으로 분할합니다. |
InnerErrorCode
사람이 읽을 수 있는 오류 코드입니다.
| Name | 형식 | Description |
|---|---|---|
| AzureCognitiveSearchNotFound |
string |
|
| AzureCognitiveSearchThrottling |
string |
|
| EmptyRequest |
string |
|
| ExtractionFailure |
string |
|
| InvalidCountryHint |
string |
|
| InvalidDocument |
string |
|
| InvalidDocumentBatch |
string |
|
| InvalidParameterValue |
string |
|
| InvalidRequest |
string |
|
| InvalidRequestBodyFormat |
string |
|
| KnowledgeBaseNotFound |
string |
|
| MissingInputDocuments |
string |
|
| ModelVersionIncorrect |
string |
|
| UnsupportedLanguageCode |
string |
InnerErrorModel
오류에 대한 보다 구체적인 정보를 포함하는 개체입니다. Microsoft One API 지침에 따라 - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
| Name | 형식 | Description |
|---|---|---|
| code |
서버 정의 오류 코드 집합 중 하나입니다. |
|
| details |
object |
오류 세부 정보입니다. |
| innererror |
오류에 대한 현재 개체보다 더 구체적인 정보를 포함하는 개체입니다. |
|
| message |
string |
오류 메시지입니다. |
| target |
string |
오류 대상입니다. |