次の方法で共有

分類マトリックス (SQL Server データ マイニング アドイン)

  • [アーティクル]

[分類マトリックス] ボタン、[データ マイニング] リボンの [

分類マトリックスを使用すると、予測で使用するモデルの精度を評価できます。 分類マトリックスを生成するには、モデルでテスト データのセットを実行し、分類マトリックス ツールを使用してテスト セットの実際の値とモデルで予測した値を比較します。 マトリックスを確認すると、モデルが正しい頻度とモデルの予測が間違っている頻度がひとめでわかります。

これらのアドインでは、 分類マトリックス ウィザードを使用してモデルを選択し、テスト データを指定してから、結果マトリックスを生成します。

分類マトリックスの見方

目的は、顧客ロイヤルティ プログラムを設計し、適切なカテゴリに顧客を割り当てて、適切なレベルのインセンティブを提供できるようにすることです。 報酬プログラムの 3 つのレベル (ブロンズ、シルバー、ゴールド) を実装し、試用フェーズで顧客に提供しました。 また、顧客を分析し、適切なカテゴリを予測するモデルも設計しました。 これで、試用データで分類マトリックスを使用して、すべての顧客について適切な提供内容を予測する時点でモデルがどの程度適切であったかを判断できます。

分類マトリックスのテーブルから、モデルに基づいて各カテゴリに何人の顧客が割り当てられるかを確認し、その結果を各報酬レベルに実際に応募した顧客の人数と比較することができます。

ブロンズ (実際) ゴールド (実際) シルバー (実際)
ブロンズ 94.45% 15.18% 1.70%
ゴールド 2.72% 84.82% 0.00%
シルバー 1.84% 0.00% 93.80%
正しい 95.45% 84.82% 98.30%
分類ミス 4.55% 15.18% 1.70%

  • 各列は、テスト データセット内の実際の値を示しています。

  • 各行は、予測値を示しています。

  • マトリックスの左上から右下まで斜めに並んでいる太字の値は、モデルが正しく予測したことを示しています。

  • この斜めに並んでいる値以外のすべての値は、エラーを示しています。 一部のエラーは偽陽性で、モデルは顧客がゴールド プログラムに応募すると予測したが、実際はそうではなかったことを意味しています。 扱う領域によっては、偽陽性が大きな損失を招く場合もあります。

    その他のエラーは偽陰性で、モデルは顧客が興味を持たないと予測したが、実際はそれらの顧客がプログラムに応募したことを意味しています。 問題とする領域によっては、この機会損失が重大な影響を及ぼす可能性があります。

分類マトリックス ウィザードの使用

  1. 予測の基礎となるマイニング モデルを選択します。

  2. 新しいテスト データのソースを選択するか、構造と共に保存されているテスト データを使用します。

  3. 精度を評価する列を選択します。 マトリックスを作成するときに選択できるのは 1 列だけですが、列には複数の値を含めることができます。

    ヒント: 予測可能な列に比較対象の列が数多く含まれている場合、分類マトリックスの解釈が難しくなる可能性があります。

    [ 予測する列の選択] ページでは、正しくない値と正しくない値の数を表示するか、パーセンテージを表示するかを指定することもできます。

  4. [ソース データの選択] ページでは、外部テスト データと、モデルと共に保存されたテスト データのどちらを使用するかを指定します。

  5. 外部テスト データを使用する場合は、ウィザードの [ リレーションシップの指定 ] ページの入力列にモデルをマップする必要があります。

    埋め込みテスト データセットを使用する場合、マッピングは自動的に実行されます。

  6. [ 完了] をクリックしてモデルに対して予測を実行し、分類マトリックスを生成します。

    ウィザードにより、分類マトリックスおよび分析に関するその他の詳細を含むレポートが作成されます。 このレポートは、Excel のテーブルとして保存されます。レポートの概要には、正しく予測されたケースの数と、誤っていた予測の数が示されます。

要件

  • 分類マトリックスを作成するには、精度の測定をサポートする既存のマイニング モデルにアクセスできる必要があります。 予測モデルおよびアソシエーション モデルは、このツールを使用して測定できません。

  • 測定するモデルは、不連続値、または既に分離されている値を予測する必要があります。

  • テスト セットを構造またはモデルと共に保存するオプションを使用しなかった場合は、モデルで使用されているものと実質的に同じ数の列を持つ入力データ セットを取得する必要があります。データ型が一致します。

  • データ マイニング モデルおよびテストに使用する新しいデータの両方に予測可能な列が 1 つ以上含まれ、なおかつ両列に同じ種類のデータが含まれていることが必要です。

既知の問題

SQL Server 2012 および SQL Server 2014 では、内部テスト データ セットをモデルにマップする機能は、分類マトリックス ツールでは機能しません。 ただし、外部データ セットを指定して、元のデータ セットのエラーを特定するための入力としてトレーニング セットを選択することができます。

参照

モデルの検証と予測用モデルの使用 (Excel 用データ マイニング アドイン)
データの探索 (SQL Server データ マイニング アドイン)
カテゴリの検出 (Excel 用のテーブル分析ツール)