Text Analysis Authoring - Get Model Evaluation Summary

참조

서비스:: Azure AI Services

API 버전:: 2022-05-01

학습된 모델의 평가 요약을 가져옵니다. 요약에는 모델의 높은 수준의 성능 측정(예: F1, Precision, Recall 등)이 포함됩니다.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2022-05-01

URI 매개 변수

Name	In(다음 안에)	필수	형식	Description
Endpoint	path	True	string	지원되는 Cognitive Services 엔드포인트(예: https://.api.cognitiveservices.azure.com).
projectName	path	True	string maxLength: 100	사용할 프로젝트의 이름입니다.
trainedModelLabel	path	True	string	학습된 모델 레이블입니다.
api-version	query	True	string	클라이언트 API 버전입니다.

요청 헤더

Name	필수	형식	Description
Ocp-Apim-Subscription-Key	True	string	언어 서비스 리소스에 대한 구독 키입니다.

응답

Name	형식	Description
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	모든 평가 결과 목록입니다.
Other Status Codes	ErrorResponse	오류 응답입니다.

보안

Ocp-Apim-Subscription-Key

언어 서비스 리소스에 대한 구독 키입니다.

형식: apiKey
In(다음 안에): header

예제

Successful Get Model Evaluation Summary

샘플 요청

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2022-05-01

샘플 응답

상태 코드:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

정의

Name	Description
Error	오류 개체입니다.
ErrorCode	사람이 읽을 수 있는 오류 코드입니다.
ErrorResponse	오류 응답입니다.
EvaluationKind	평가 종류를 나타냅니다. 기본적으로 평가 종류는 백분율로 설정됩니다.
InnerErrorCode	사람이 읽을 수 있는 오류 코드입니다.
InnerErrorModel	오류에 대한 보다 구체적인 정보를 포함하는 개체입니다. Microsoft One API 지침에 따라 https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind	프로젝트 종류입니다.
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	사용자 지정 엔터티 인식 프로젝트에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	사용자 지정 다중 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	사용자 지정 단일 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringEntityEvaluationSummary	엔터티에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	사용자 지정 엔터티 인식 프로젝트에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringEvaluationOptions	평가를 실행하는 데 사용되는 옵션을 나타냅니다.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	다중 레이블 분류 프로젝트의 클래스에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	다중 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	단일 레이블 분류 프로젝트의 클래스에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	사용자 지정 단일 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.

Error

Object

오류 개체입니다.

Name	형식	Description
code	ErrorCode	서버에서 정의한 오류 코드 집합 중 하나입니다.
details	Error[]	이 보고된 오류로 이어진 특정 오류에 대한 세부 정보 배열입니다.
innererror	InnerErrorModel	오류에 대한 현재 개체보다 더 구체적인 정보를 포함하는 개체입니다.
message	string	사람이 읽을 수 있는 오류 표현입니다.
target	string	오류의 대상입니다.

ErrorCode

열거형

사람이 읽을 수 있는 오류 코드입니다.

값	Description
AzureCognitiveSearchIndexLimitReached
AzureCognitiveSearchIndexNotFound
AzureCognitiveSearchNotFound
AzureCognitiveSearchThrottling
Conflict
Forbidden
InternalServerError
InvalidArgument
InvalidRequest
NotFound
OperationNotFound
ProjectNotFound
QuotaExceeded
ServiceUnavailable
Timeout
TooManyRequests
Unauthorized
Warning

ErrorResponse

Object

오류 응답입니다.

Name	형식	Description
error	Error	오류 개체입니다.

EvaluationKind

열거형

평가 종류를 나타냅니다. 기본적으로 평가 종류는 백분율로 설정됩니다.

값	Description
manual	데이터의 모든 예제에 대해 선택한 데이터 세트에 따라 데이터를 분할합니다.
percentage	사용자 정의 백분율에 따라 데이터를 학습 및 테스트 집합으로 분할합니다.

InnerErrorCode

열거형

사람이 읽을 수 있는 오류 코드입니다.

값	Description
AzureCognitiveSearchNotFound
AzureCognitiveSearchThrottling
EmptyRequest
ExtractionFailure
InvalidCountryHint
InvalidDocument
InvalidDocumentBatch
InvalidParameterValue
InvalidRequest
InvalidRequestBodyFormat
KnowledgeBaseNotFound
MissingInputDocuments
ModelVersionIncorrect
UnsupportedLanguageCode

InnerErrorModel

Object

오류에 대한 보다 구체적인 정보를 포함하는 개체입니다. Microsoft One API 지침에 따라 https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Name	형식	Description
code	InnerErrorCode	서버에서 정의한 오류 코드 집합 중 하나입니다.
details	object	오류 세부 정보입니다.
innererror	InnerErrorModel	오류에 대한 현재 개체보다 더 구체적인 정보를 포함하는 개체입니다.
message	string	오류 메시지입니다.
target	string	오류 대상입니다.

ProjectKind

열거형

프로젝트 종류입니다.

값	Description
CustomEntityRecognition	사용자 고유의 데이터를 사용하여 도메인 범주를 식별하는 추출 모델을 빌드합니다.
CustomMultiLabelClassification	사용자 고유의 데이터를 사용하여 텍스트를 분류하는 분류 모델을 빌드하는 경우 각 파일에는 하나 이상의 레이블이 있을 수 있습니다. 예를 들어 파일 1은 A, B 및 C로 분류되고 파일 2는 B 및 C로 분류됩니다.
CustomSingleLabelClassification	사용자 고유의 데이터를 사용하여 텍스트를 분류하는 분류 모델을 빌드하는 경우 각 파일에는 레이블이 하나만 있습니다. 예를 들어 파일 1은 A로 분류되고 파일 2는 B로 분류됩니다.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Object

사용자 지정 엔터티 인식 프로젝트에 대한 평가 요약을 나타냅니다.

Name	형식	Description
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	추출 평가와 관련된 데이터를 포함합니다.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	평가를 실행하는 데 사용되는 옵션을 나타냅니다.
projectKind	string: CustomEntityRecognition	평가가 실행된 프로젝트 형식을 나타냅니다.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Object

사용자 지정 다중 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.

Name	형식	Description
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	다중 레이블 분류 평가와 관련된 데이터를 포함합니다.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	평가를 실행하는 데 사용되는 옵션을 나타냅니다.
projectKind	string: CustomMultiLabelClassification	평가가 실행된 프로젝트 형식을 나타냅니다.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Object

사용자 지정 단일 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.

Name	형식	Description
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	단일 레이블 분류 평가와 관련된 데이터를 포함합니다.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	평가를 실행하는 데 사용되는 옵션을 나타냅니다.
projectKind	string: CustomSingleLabelClassification	평가가 실행된 프로젝트 형식을 나타냅니다.

TextAnalysisAuthoringEntityEvaluationSummary

Object

엔터티에 대한 평가 요약을 나타냅니다.

Name	형식	Description
f1	number (double)	모델 정밀도를 나타냅니다.
falseNegativeCount	integer (int32)	가음성 수를 나타냅니다.
falsePositiveCount	integer (int32)	가양성 수를 나타냅니다.
precision	number (double)	모델 회수를 나타냅니다.
recall	number (double)	모델 F1 점수를 나타냅니다.
trueNegativeCount	integer (int32)	참 음수의 수를 나타냅니다.
truePositiveCount	integer (int32)	진양성 수를 나타냅니다.

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

Object

사용자 지정 엔터티 인식 프로젝트에 대한 평가 요약을 나타냅니다.

Name	형식	Description
confusionMatrix	object	두 엔터티 간의 혼동 행렬을 나타냅니다(두 엔터티는 같을 수 있습니다). 행렬은 레이블이 지정된 엔터티와 예측된 엔터티 사이에 있습니다.
entities	<string, TextAnalysisAuthoringEntityEvaluationSummary>	엔터티 평가를 나타냅니다.
macroF1	number (float)	매크로 F1을 나타냅니다.
macroPrecision	number (float)	매크로 정밀도를 나타냅니다.
macroRecall	number (float)	매크로 회수를 나타냅니다.
microF1	number (float)	마이크로 F1을 나타냅니다.
microPrecision	number (float)	마이크로 정밀도를 나타냅니다.
microRecall	number (float)	마이크로 회수를 나타냅니다.

TextAnalysisAuthoringEvaluationOptions

Object

평가를 실행하는 데 사용되는 옵션을 나타냅니다.

Name	형식	Description
kind	EvaluationKind	평가 종류를 나타냅니다. 기본적으로 평가 종류는 백분율로 설정됩니다.
testingSplitPercentage	integer (int32)	테스트 데이터 세트 분할 비율을 나타냅니다. 평가 종류가 백분율인 경우에만 필요합니다.
trainingSplitPercentage	integer (int32)	학습 데이터 세트 분할 비율을 나타냅니다. 평가 종류가 백분율인 경우에만 필요합니다.

TextAnalysisAuthoringMultiLabelClassEvaluationSummary

Object

다중 레이블 분류 프로젝트의 클래스에 대한 평가 요약을 나타냅니다.

Name	형식	Description
f1	number (double)	모델 정밀도를 나타냅니다.
falseNegativeCount	integer (int32)	가음성 수를 나타냅니다.
falsePositiveCount	integer (int32)	가양성 수를 나타냅니다.
precision	number (double)	모델 회수를 나타냅니다.
recall	number (double)	모델 F1 점수를 나타냅니다.
trueNegativeCount	integer (int32)	참 음수의 수를 나타냅니다.
truePositiveCount	integer (int32)	진양성 수를 나타냅니다.

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

Object

다중 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.

Name	형식	Description
classes	<string, TextAnalysisAuthoringMultiLabelClassEvaluationSummary>	클래스 평가를 나타냅니다.
macroF1	number (float)	매크로 F1을 나타냅니다.
macroPrecision	number (float)	매크로 정밀도를 나타냅니다.
macroRecall	number (float)	매크로 회수를 나타냅니다.
microF1	number (float)	마이크로 F1을 나타냅니다.
microPrecision	number (float)	마이크로 정밀도를 나타냅니다.
microRecall	number (float)	마이크로 회수를 나타냅니다.

TextAnalysisAuthoringSingleLabelClassEvaluationSummary

Object

단일 레이블 분류 프로젝트의 클래스에 대한 평가 요약을 나타냅니다.

Name	형식	Description
f1	number (double)	모델 정밀도를 나타냅니다.
falseNegativeCount	integer (int32)	가음성 수를 나타냅니다.
falsePositiveCount	integer (int32)	가양성 수를 나타냅니다.
precision	number (double)	모델 회수를 나타냅니다.
recall	number (double)	모델 F1 점수를 나타냅니다.
trueNegativeCount	integer (int32)	참 음수의 수를 나타냅니다.
truePositiveCount	integer (int32)	진양성 수를 나타냅니다.

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

Object

사용자 지정 단일 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.

Name	형식	Description
classes	<string, TextAnalysisAuthoringSingleLabelClassEvaluationSummary>	클래스 평가를 나타냅니다.
confusionMatrix	object	두 클래스 간의 혼동 행렬을 나타냅니다(두 클래스는 같을 수 있습니다). 행렬은 레이블이 지정된 클래스와 예측된 클래스 사이에 있습니다.
macroF1	number (float)	매크로 F1을 나타냅니다.
macroPrecision	number (float)	매크로 정밀도를 나타냅니다.
macroRecall	number (float)	매크로 회수를 나타냅니다.
microF1	number (float)	마이크로 F1을 나타냅니다.
microPrecision	number (float)	마이크로 정밀도를 나타냅니다.
microRecall	number (float)	마이크로 회수를 나타냅니다.

다음을 통해 공유

Text Analysis Authoring - Get Model Evaluation Summary

URI 매개 변수

요청 헤더

응답

보안

Ocp-Apim-Subscription-Key

예제

Successful Get Model Evaluation Summary

샘플 요청

샘플 응답

정의

Error

ErrorCode

ErrorResponse

EvaluationKind

InnerErrorCode

InnerErrorModel

ProjectKind

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

TextAnalysisAuthoringEntityEvaluationSummary

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

TextAnalysisAuthoringEvaluationOptions

TextAnalysisAuthoringMultiLabelClassEvaluationSummary

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

TextAnalysisAuthoringSingleLabelClassEvaluationSummary

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

추가 리소스