Text Analysis Authoring - Get Model Evaluation Summary

リファレンス

サービス:: Azure AI Services

API バージョン:: 2023-04-01

トレーニング済みモデルの評価の概要を取得します。概要には、F1、精度、再現率など、モデルの高レベルのパフォーマンス測定が含まれています。

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

URI パラメーター

名前	/	必須	型	説明
Endpoint	path	True	string url	サポートされている Cognitive Services エンドポイント (例: https://.api.cognitiveservices.azure.com.)
projectName	path	True	string	使用するプロジェクトの名前。
trainedModelLabel	path	True	string	トレーニング済みのモデルラベル。
api-version	query	True	string	この操作に使用する API バージョン。

応答

名前	型	説明
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	要求は成功しました。
Other Status Codes	ErrorResponse	予期しないエラー応答。

セキュリティ

Ocp-Apim-Subscription-Key

型: apiKey
/: header

OAuth2Auth

型: oauth2
フロー: accessCode
Authorization URL (承認 URL): https://login.microsoftonline.com/common/oauth2/authorize
Token URL (トークン URL): https://login.microsoftonline.com/common/oauth2/token

スコープ

名前	説明
https://cognitiveservices.azure.com/.default

例

SuccessfulGetModelEvaluationSummary

要求のサンプル

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

応答のサンプル

状態コード:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

定義

名前	説明
Error	エラーオブジェクト。
ErrorCode	人間が判読できるエラーコード。
ErrorResponse	エラー応答。
EvaluationKind
InnerErrorCode	人間が判読できるエラーコード。
InnerErrorModel	エラーに関するより具体的な情報を含むオブジェクト。 Microsoft One API のガイドラインに従って - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	カスタムエンティティ認識プロジェクトの評価の概要を表します。
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	カスタムの複数ラベル分類プロジェクトの評価の概要を表します。
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	カスタムの単一ラベル分類プロジェクトの評価の概要を表します。
TextAnalysisAuthoringEntityEvaluationSummary	エンティティの評価の概要を表します。
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	カスタムエンティティ認識プロジェクトの評価の概要を表します。
TextAnalysisAuthoringEvaluationOptions	評価の実行に使用されるオプションを表します。
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	複数ラベル分類プロジェクトのクラスの評価の概要を表します。
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	複数ラベル分類プロジェクトの評価の概要を表します。
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	単一ラベル分類プロジェクトのクラスの評価の概要を表します。
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	カスタムの単一ラベル分類プロジェクトの評価の概要を表します。

Error

エラーオブジェクト。

名前	型	説明
code	ErrorCode	サーバー定義の一連のエラーコードの 1 つ。
details	Error[]	この報告されたエラーの原因となった特定のエラーに関する詳細の配列。
innererror	InnerErrorModel	エラーに関する現在のオブジェクトよりも具体的な情報を含むオブジェクト。
message	string	エラーの人間が判読できる表現。
target	string	エラーのターゲット。

ErrorCode

人間が判読できるエラーコード。

名前	型	説明
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

エラー応答。

名前	型	説明
error	Error	エラーオブジェクト。

EvaluationKind

名前	型	説明
manual	string	データ内のすべての例について、選択したデータセットに従ってデータを分割します。
percentage	string	ユーザー定義のパーセンテージに従って、データをトレーニングセットとテストセットに分割します。

InnerErrorCode

人間が判読できるエラーコード。

名前	型	説明
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

エラーに関するより具体的な情報を含むオブジェクト。 Microsoft One API のガイドラインに従って - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

名前	型	説明
code	InnerErrorCode	サーバー定義の一連のエラーコードの 1 つ。
details	object	エラーの詳細。
innererror	InnerErrorModel	エラーに関する現在のオブジェクトよりも具体的な情報を含むオブジェクト。
message	string	エラーメッセージ。
target	string	エラーターゲット。

ProjectKind

名前	型	説明
CustomEntityRecognition	string	独自のデータを使用してドメインカテゴリを識別する抽出モデルを構築する場合。
CustomMultiLabelClassification	string	独自のデータを使用してテキストを分類する分類モデルを構築する場合。各ファイルには、1 つまたは複数のラベルを含めることができます。たとえば、ファイル 1 は A、B、C に分類され、ファイル 2 は B と C に分類されます。
CustomSingleLabelClassification	string	独自のデータを使用してテキストを分類する分類モデルを構築する場合。各ファイルにはラベルが 1 つだけ含まれます。たとえば、ファイル 1 は A に分類され、ファイル 2 は B として分類されます。

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

カスタムエンティティ認識プロジェクトの評価の概要を表します。

名前	型	説明
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	抽出の評価に関連するデータを格納します。
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	評価の実行に使用されるオプションを表します。
projectKind	string: CustomEntityRecognition	評価が実行されたプロジェクトの種類を表します。

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

カスタムの複数ラベル分類プロジェクトの評価の概要を表します。

名前	型	説明
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	複数ラベル分類の評価に関連するデータを格納します。
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	評価の実行に使用されるオプションを表します。
projectKind	string: CustomMultiLabelClassification	評価が実行されたプロジェクトの種類を表します。

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

カスタムの単一ラベル分類プロジェクトの評価の概要を表します。

名前	型	説明
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	単一ラベル分類の評価に関連するデータを格納します。
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	評価の実行に使用されるオプションを表します。
projectKind	string: CustomSingleLabelClassification	評価が実行されたプロジェクトの種類を表します。

TextAnalysisAuthoringEntityEvaluationSummary

エンティティの評価の概要を表します。

名前	型	説明
f1	number	モデルの精度を表します
falseNegativeCount	integer	偽陰性の数を表します。
falsePositiveCount	integer	誤検知の数を表します。
precision	number	モデルの再現率を表します
recall	number	モデル F1 スコアを表します
trueNegativeCount	integer	真負の数を表します。
truePositiveCount	integer	真陽性の数を表します。

TextAnalysisAuthoringEntityRecognitionEvaluationSummary