Text Analysis Authoring - Get Model Evaluation Summary

참조

서비스:: Azure AI Services

API 버전:: 2023-04-01

학습된 모델의 평가 요약을 가져옵니다. 요약에는 모델의 높은 수준의 성능 측정(예: F1, Precision, Recall 등)이 포함됩니다.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

URI 매개 변수

Name	In(다음 안에)	필수	형식	Description
Endpoint	path	True	string url	지원되는 Cognitive Services 엔드포인트(예: https://.api.cognitiveservices.azure.com.
projectName	path	True	string	사용할 프로젝트의 이름입니다.
trainedModelLabel	path	True	string	학습된 모델 레이블입니다.
api-version	query	True	string	이 작업에 사용할 API 버전입니다.

응답

Name	형식	Description
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	요청이 성공했습니다.
Other Status Codes	ErrorResponse	예기치 않은 오류 응답입니다.

보안

Ocp-Apim-Subscription-Key

형식: apiKey
In(다음 안에): header

OAuth2Auth

형식: oauth2
Flow: accessCode
권한 부여 URL: https://login.microsoftonline.com/common/oauth2/authorize
토큰 URL: https://login.microsoftonline.com/common/oauth2/token

범위

Name	Description
https://cognitiveservices.azure.com/.default

예제

SuccessfulGetModelEvaluationSummary

샘플 요청

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

샘플 응답

상태 코드:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

정의

Name	Description
Error	오류 개체입니다.
ErrorCode	사람이 읽을 수 있는 오류 코드입니다.
ErrorResponse	오류 응답입니다.
EvaluationKind
InnerErrorCode	사람이 읽을 수 있는 오류 코드입니다.
InnerErrorModel	오류에 대한 보다 구체적인 정보를 포함하는 개체입니다. Microsoft One API 지침에 따라 https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	사용자 지정 엔터티 인식 프로젝트에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	사용자 지정 다중 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	사용자 지정 단일 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringEntityEvaluationSummary	엔터티에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	사용자 지정 엔터티 인식 프로젝트에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringEvaluationOptions	평가를 실행하는 데 사용되는 옵션을 나타냅니다.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	다중 레이블 분류 프로젝트의 클래스에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	다중 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	단일 레이블 분류 프로젝트의 클래스에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	사용자 지정 단일 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.

Error

오류 개체입니다.

Name	형식	Description
code	ErrorCode	서버에서 정의한 오류 코드 집합 중 하나입니다.
details	Error[]	이 보고된 오류로 이어진 특정 오류에 대한 세부 정보 배열입니다.
innererror	InnerErrorModel	오류에 대한 현재 개체보다 더 구체적인 정보를 포함하는 개체입니다.
message	string	사람이 읽을 수 있는 오류 표현입니다.
target	string	오류의 대상입니다.

ErrorCode

사람이 읽을 수 있는 오류 코드입니다.

Name	형식	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

오류 응답입니다.

Name	형식	Description
error	Error	오류 개체입니다.

EvaluationKind

Name	형식	Description
manual	string	데이터의 모든 예제에 대해 선택한 데이터 세트에 따라 데이터를 분할합니다.
percentage	string	사용자 정의 백분율에 따라 데이터를 학습 및 테스트 집합으로 분할합니다.

InnerErrorCode

사람이 읽을 수 있는 오류 코드입니다.

Name	형식	Description
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

오류에 대한 보다 구체적인 정보를 포함하는 개체입니다. Microsoft One API 지침에 따라 https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Name	형식	Description
code	InnerErrorCode	서버에서 정의한 오류 코드 집합 중 하나입니다.
details	object	오류 세부 정보입니다.
innererror	InnerErrorModel	오류에 대한 현재 개체보다 더 구체적인 정보를 포함하는 개체입니다.
message	string	오류 메시지입니다.
target	string	오류 대상입니다.

ProjectKind

Name	형식	Description
CustomEntityRecognition	string	사용자 고유의 데이터를 사용하여 도메인 범주를 식별하는 추출 모델을 빌드합니다.
CustomMultiLabelClassification	string	사용자 고유의 데이터를 사용하여 텍스트를 분류하는 분류 모델을 빌드하는 경우 각 파일에는 하나 이상의 레이블이 있을 수 있습니다. 예를 들어 파일 1은 A, B 및 C로 분류되고 파일 2는 B 및 C로 분류됩니다.
CustomSingleLabelClassification	string	사용자 고유의 데이터를 사용하여 텍스트를 분류하는 분류 모델을 빌드하는 경우 각 파일에는 레이블이 하나만 있습니다. 예를 들어 파일 1은 A로 분류되고 파일 2는 B로 분류됩니다.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

사용자 지정 엔터티 인식 프로젝트에 대한 평가 요약을 나타냅니다.

Name	형식	Description
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	추출 평가와 관련된 데이터를 포함합니다.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	평가를 실행하는 데 사용되는 옵션을 나타냅니다.
projectKind	string: CustomEntityRecognition	평가가 실행된 프로젝트 형식을 나타냅니다.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

사용자 지정 다중 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.

Name	형식	Description
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	다중 레이블 분류 평가와 관련된 데이터를 포함합니다.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	평가를 실행하는 데 사용되는 옵션을 나타냅니다.
projectKind	string: CustomMultiLabelClassification	평가가 실행된 프로젝트 형식을 나타냅니다.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

사용자 지정 단일 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.

Name	형식	Description
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	단일 레이블 분류 평가와 관련된 데이터를 포함합니다.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	평가를 실행하는 데 사용되는 옵션을 나타냅니다.
projectKind	string: CustomSingleLabelClassification	평가가 실행된 프로젝트 형식을 나타냅니다.

TextAnalysisAuthoringEntityEvaluationSummary

엔터티에 대한 평가 요약을 나타냅니다.

Name	형식	Description
f1	number	모델 정밀도를 나타냅니다.
falseNegativeCount	integer	가음성 수를 나타냅니다.
falsePositiveCount	integer	가양성 수를 나타냅니다.
precision	number	모델 회수를 나타냅니다.
recall	number	모델 F1 점수를 나타냅니다.
trueNegativeCount	integer	참 음수의 수를 나타냅니다.
truePositiveCount	integer	진양성 수를 나타냅니다.

TextAnalysisAuthoringEntityRecognitionEvaluationSummary