テキスト分類モデルの評価と詳細を表示する

モデルのトレーニングが完了したら、モデルのパフォーマンスを表示し、テスト セットのドキュメントに対して予測されたクラスを確認できます。

注意

[トレーニング データからテスト セットを自動的に分割する] オプションを使用すると、テスト セットがデータからランダムに選択されるため、新しいモデルをトレーニングするたびにモデル評価の結果が異なる可能性があります。 モデルをトレーニングするたびに同じテスト セットで評価が計算されるようにするには、トレーニング ジョブを開始するときに [トレーニング データとテスト データの手動分割を使用する] オプションを使用し、データにラベル付けするときにテスト ドキュメントを定義します。

前提条件

モデルの評価を表示する前に、次のものが必要です。

• Azure Blob ストレージ アカウントが構成されているカスタム テキスト分類プロジェクト。
• ストレージ アカウントにアップロードされたテキスト データ。
• ラベルの付いたデータ
• 正常にトレーニングされたモデル

詳細については、「プロジェクト開発ライフサイクル」を参照してください。

モデルの詳細

Language Studio

1. Language Studio でプロジェクトのページに移動します。

2. 画面の左側にあるメニューから [モデルのパフォーマンス] を選びます。

3. このページでは、正常にトレーニングされたモデル、各モデルの F1 スコア、およびモデルの有効期限のみを表示できます。 モデル名を選択すると、そのパフォーマンスに関する詳細を確認できます。

Note

テスト セットでラベル付けも予測もされていないクラスは、結果の一部として表示されません。

概要

• このタブでは、F1 スコア、精度、リコール、トレーニング ジョブの日付と時刻、トレーニング時間の合計、このトレーニング ジョブに含まれるトレーニングおよびテスト ドキュメントの数など、モデルの詳細を表示できます。

  

• また、モデルを改善する方法に関するガイダンスも表示されます。 [詳細の表示] をクリックすると、サイド パネルが開き、モデルを改善する方法に関するガイダンスが表示されます。 この例では、これらのクラスのトレーニング セットに十分なデータがありません。 また、2 つのクラスが相互に混同されるトレーニング セットでは、クラスの種類が明確に区別されていません。 混同されたクラスをクリックすると、[データのラベル付け] ページに移動し、より多くのデータに正しいクラスのラベルを付けられます。

  

  モデルのパフォーマンスの概念におけるモデル ガイダンスと混同行列の詳細について説明します。

クラス型のパフォーマンス

• これは、テスト中にモデルがどのように動作したかのスナップショットです。 ここでのメトリックは静的であり、モデルに関連付けられているため、もう一度トレーニングするまで更新されません。

• 各クラスの精度、リコール、F1 スコア、トレーニング ラベルの数とテスト ラベルを確認できます。

  

テスト セットの詳細

• ここでは、テスト セットに含まれるドキュメントと、各ドキュメントの結果クラスが表示されます。 [不一致のみを表示] トグルを使用すると、不一致のドキュメントのみを表示したり、トグルを選択解除してテスト セット内のすべてのドキュメントを表示したりできます。

• ドキュメントごとに、ラベル付きテキスト、それぞれのラベル付きクラス、および予測に使用されたクラスを表示できます。 また、真陽性、擬陽性、擬陰性のどちらであるかを確認できます。

  

データセットの分散

このスナップショットは、エンティティがトレーニング セットとテスト セット間でどのように分散されるかを示しています。 このデータは静的であり、モデルに関連付けられているため、もう一度トレーニングするまで更新されません。

• データセットの分散は、グラフまたはテーブル ビューで表示できます。

グラフ ビュー

ラベルが少なくとも 1 つのドキュメント: このビューは、各クラスについて、トレーニング セットとテスト セット全体でこのクラスの出現回数を表示します。

テーブル ビュー

クラスごとに、トレーニング セット内のタグ付けされたドキュメント、テスト セット内のタグ付きドキュメント、タグ付けされたドキュメントの合計数を表示できます。

混同行列

注意

混同行列は、複数分類プロジェクトでは使用できません。

混同行列は、分類モデルのパフォーマンスの評価に使用される N x N 行列であり、N はターゲット クラスの数です。 この行列では、実際のターゲット値と機械学習モデルによって予測された値を比較して、抽出モデルのパフォーマンスと発生しているエラーの種類を示します。

混同行列は、正規化または生のカウント ビューで表示できます。

• すべての値: すべてのクラスの混同行列が表示されます。

• エラーのみ: エラーがあるクラスの混同行列のみが表示されます。

• 一致のみ: 正しい予測があるクラスの混同行列のみが表示されます。

REST API

単一ラベルの分類

トレーニング済みのモデル評価の概要を取得するには、次の URL、ヘッダー、JSON 本文を使用して GET 要求を送信します。

要求 URL

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

プレースホルダー	値	例
{ENDPOINT}	API 要求を認証するためのエンドポイント。	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	プロジェクトの名前。 この値は、大文字と小文字が区別されます。	myProject
{trainedModelLabel}	トレーニング済みモデルの名前。 この値は、大文字と小文字が区別されます。	Model1
{API-VERSION}	呼び出している API のバージョン。 ここで参照される値は、リリース済みの最新バージョン用です。 その他の利用可能な API バージョンの詳細を確認する	2022-05-01

ヘッダー

要求を認証するには、次のヘッダーを使います。

Key	値
Ocp-Apim-Subscription-Key	リソースへのキー。 API 要求の認証に使われます。

応答本文

要求を送信すると、次の応答を受け取ります。

{
  "projectKind": "customSingleLabelClassification",
  "customSingleLabelClassificationEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "classes": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

マルチ ラベル分類

トレーニング済みのモデル評価の概要を取得するには、次の URL、ヘッダー、JSON 本文を使用して GET 要求を送信します。

要求 URL

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

プレースホルダー	値	例
{ENDPOINT}	API 要求を認証するためのエンドポイント。	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	プロジェクトの名前。 この値は、大文字と小文字が区別されます。	myProject
{trainedModelLabel}	トレーニング済みモデルの名前。 この値は、大文字と小文字が区別されます。	Model1
{API-VERSION}	呼び出している API のバージョン。 ここで参照される値は、リリース済みの最新バージョン用です。 その他の利用可能な API バージョンの詳細を確認する	2022-05-01

ヘッダー

要求を認証するには、次のヘッダーを使います。

Key	値
Ocp-Apim-Subscription-Key	リソースへのキー。 API 要求の認証に使われます。

応答本文

要求を送信すると、次の応答を受け取ります。

{
  "projectKind": "customMultiLabelClassification",
  "customMultiLabelClassificationEvaluation": {
    "classes": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

モデル データの読み込みまたはエクスポート

Language Studio

モデル データを読み込むには:

1. モデル評価ページで任意のモデルを選択します。

2. [モデル データの読み込み] ボタンを選択します。

3. 表示されるウィンドウで、キャプチャする必要がある未保存の変更がないことを確認し、[データの読み込み] を選択します。

4. モデル データのプロジェクトへの読み込みが完了するまで待ちます。 完了すると、[Schema design] (スキーマ デザイン) ページにリダイレクトされます。

モデル データをエクスポートするには:

1. モデル評価ページで任意のモデルを選択します。

2. [モデル データのエクスポート] ボタンを選択します。 モデルの JSON スナップショットがローカルにダウンロードされるまで待ちます。

REST API

モデル データを読み込む

モデル データをプロジェクトに読み込むには、次の URL、ヘッダー、JSON 本文を使って POST 要求を作成します。

要求 URL

API 要求を作るときは、次の URL を使います。 次のプレースホルダーの値を実際の値に置き換えてください。

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}

プレースホルダー	値	例
{ENDPOINT}	API 要求を認証するためのエンドポイント。	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	プロジェクトの名前。 この値は、大文字と小文字が区別されます。	EmailApp
{API-VERSION}	呼び出している API のバージョン。	2022-10-01-preview
{MODEL-NAME}	モデルの名前。 この値は、大文字と小文字が区別されます。	v1

ヘッダー

要求を認証するには、次のヘッダーを使います。

Key	値
Ocp-Apim-Subscription-Key	リソースへのキー。 API 要求の認証に使われます。

API 要求を送信すると、成功を示す 202 応答が返されます。 応答ヘッダーで、operation-location の値を抽出します。 それは次のように書式設定されています。

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

この操作は非同期であるため、JOB-ID を使って要求が識別されます。 この URL を使用し、同じ認証方法を使用して、モデル データの読み込みの状態を取得します。

モデル データをエクスポートする

モデル データをエクスポートするには、次の URL、ヘッダー、JSON 本文を使って POST 要求を作成します。

要求 URL

API 要求を作るときは、次の URL を使います。 次のプレースホルダーの値を実際の値に置き換えてください。

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}

プレースホルダー	値	例
{ENDPOINT}	API 要求を認証するためのエンドポイント。	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	プロジェクトの名前。 この値は、大文字と小文字が区別されます。	EmailApp
{API-VERSION}	呼び出している API のバージョン。	2022-10-01-preview
{MODEL-NAME}	モデルの名前。 この値は、大文字と小文字が区別されます。	v1

ヘッダー

要求を認証するには、次のヘッダーを使います。

Key	値
Ocp-Apim-Subscription-Key	リソースへのキー。 API 要求の認証に使われます。

API 要求を送信すると、成功を示す 202 応答が返されます。 応答ヘッダーで、operation-location の値を抽出します。 それは次のように書式設定されています。

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

この操作は非同期であるため、JOB-ID を使って要求が識別されます。 同じ認証方法を使用し、エクスポートされたプロジェクトの JSON をこの URL を使用して取得します。

モデルを削除する

Language Studio

Language Studio 内からモデルを削除するには:

1. 左側のメニューから [モデルのパフォーマンス] を選びます。

2. 削除するモデル名を選び、上部のメニューから [削除] を選択します。

3. 表示されたウィンドウで [OK] を選択してモデルを削除します。

REST API

トレーニング済みのモデルを削除するには、次の URL、ヘッダー、JSON 本文を使って DELETE 要求を作成します。

要求 URL

{Endpoint}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}?api-version={API-VERSION}

プレースホルダー	値	例
{ENDPOINT}	API 要求を認証するためのエンドポイント。	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	プロジェクトの名前。 この値は、大文字と小文字が区別されます。	myProject
{trainedModelLabel}	モデルの名前。 この値は、大文字と小文字が区別されます。	model1
{API-VERSION}	呼び出している API のバージョン。 ここで参照される値は、リリース済みの最新バージョン用です。 その他の利用可能な API バージョンの詳細を確認する	2022-05-01

ヘッダー

要求を認証するには、次のヘッダーを使います。

Key	値
Ocp-Apim-Subscription-Key	リソースへのキー。 API 要求の認証に使われます。

API 要求を送信すると、成功を示す 204 応答を受け取ります。これは、トレーニング済みのモデルが削除されたことを意味します。

次のステップ

モデルのパフォーマンスを確認する際に、使用される評価メトリックについて説明します。 モデルのパフォーマンスを向上させる必要があるかどうかを確認したら、モデルの改善を始められます。