リフト チャートを使用した精度テスト (基本的なデータ マイニング チュートリアル)
データ マイニング Designerの [マイニング精度グラフ] タブでは、各モデルが予測をどの程度適切に行っているかを計算し、各モデルの結果を他のモデルの結果と直接比較できます。 この比較方法はリフト チャートと呼ばれます。 通常、マイニング モデルの予測精度は、リフトまたは分類の精度によって測定します。 このチュートリアルでは、リフト チャートのみを使用します。
このトピックでは次の作業を行います。
入力データの選択
マイニング モデルの精度をテストするには、まず、テストに使用するデータ ソースを選択する必要があります。 テスト データに対するモデルの予測精度をテストし、その後で外部データに対してモデルを使用します。
データ セットを選択するには
SQL Server Data Tools (SSDT) の [データ マイニング Designer] の [マイニング精度グラフ] タブに切り替え、[入力の選択] タブを選択します。
[ 精度グラフに使用するデータ セットの選択 ] グループ ボックスで、[ マイニング構造のテスト ケースを使用する] を選択します。 これは、マイニング構造を作成したときに確保したテスト データです。
その他のオプションの詳細については、「 精度グラフの種類の選択」および「グラフ オプションの設定」を参照してください。
精度チャートのパラメーターの設定
精度チャートを作成するには、次の 3 つの事項を定義する必要があります。
どのモデルを精度チャートに含めますか。
予測可能な、どの属性を測定しますか。 特定のモデルには複数の対象が存在しますが、各グラフで測定できるのは一度に 1 つの結果のみです。
精度グラフで 予測可能な列名として列 を使用するには、列の使用法の
Predict種類が またはPredict Onlyである必要があります。 また、対象列のコンテンツの種類は、DiscreteとDiscretizedのどちらかであることが必要です。 つまり、リフト チャートを使用して、連続する数値の出力に関する精度を測定することはできません。モデルの一般的な精度、または特定の値を予測する際の精度 ([Bike Buyer] = 'Yes' など) を測定しますか?
リフト チャートを生成するには
データ マイニング Designerの [入力の選択] タブの [リフト チャートに表示する予測可能なマイニング モデル列の選択] で、[予測列と値の同期] チェック ボックスをオンにします。
[ 予測可能な列名] 列で、モデルごとに Bike Buyer が選択されていることを確認します。
[ 表示 ] 列で、各モデルを選択します。
既定では、マイニング構造内のすべてのモデルが選択されます。 モデルを除外することもできますが、このチュートリアルではすべてのモデルを選択したままにしておきます。
[ 値の予測] 列で 、 1 を選択します。 同じ予測可能列を持つモデルのそれぞれに対して、同じ値が自動的に設定されます。
[ リフト チャート ] タブを選択します。
このタブをクリックすると、予測クエリが実行されてテスト データに関する予測結果が取得され、結果は既知の値と比較されます。 結果がグラフとして表示されます。
[ 値の予測] オプションを使用して特定のターゲット結果を指定した場合、リフト チャートにはランダムな推測の結果と理想的なモデルの結果がプロットされます。
ランダム推定の線では、何もデータを使用せずに予測を行う場合に、モデルがどれほどの精度であるかが示されます。つまり、2 つの結果のいずれかを予測する場合は、50 対 50 の分割が行われます。 リフト チャートを使用すると、ランダム推定と比較してモデルがどれほど改善された予測を行うかが視覚的に表現されます。
理想的なモデルの線は、精度の上限を表します。 これは、モデルが常にできるだけ高い精度で予測を行う場合に達成できる、実現可能な最大の成果を示しています。
作成したマイニング モデルは通常、これら 2 つの極値の間に位置します。 ランダムな推測による改善は 、リフトであると見なされます。
凡例を使用して、理想モデルとランダム推測モデルを表す色付きの線を配置します。
このモデルは、クラスタリング モデルと Naive Bayes モデルの両方を上回る最大のリフトを提供している
TM_Decision_Treeことがわかります。
このレッスンで作成したリフト チャートと同様のリフト チャートの詳細については、「 リフト チャート (Analysis Services - データ マイニング)」を参照してください。
このレッスンの次の作業
フィルター選択されたモデルのテスト (基本的なデータ マイニング チュートリアル)
参照
リフト チャート (Analysis Services - データ マイニング)
[リフト チャート] タブ ([マイニング精度チャート] ビュー)