相互検証レポートのメジャー
クロス検証中に、Analysis Services はマイニング構造内のデータを複数の断面に分割し、構造と関連するマイニング モデルを繰り返しテストします。 この分析に基づき、構造および各モデルの標準の精度のメジャーを出力します。
レポートでは、データ内のフォールドの数や各フォールド内のデータの量に関するいくつかの基本情報に加えて、データの分布を示す一連の一般的な基準が表示されます。 それぞれのセクションに対する一般的な基準を比較することで、構造またはモデルの信頼性を評価できます。
Analysis Services には、マイニング モデルに関する一連の詳細なメジャーも表示されます。 これらのメジャーは、分析するモデルの種類や、不連続であるか連続であるかなど属性の型によって異なります。
ここでは、 [相互検証] レポートに含まれるメジャーおよびその意味の一覧を示します。 各メジャーの計算方法の詳細については、「 クロス検証式」を参照してください。
相互検証レポートのメジャーの一覧
次の表は、相互検証レポートに表示されるメジャーの一覧を示します。 メジャーは、表の左の列に表示されている テストの種類でグループ化されています。 右の列には、レポートに表示されるメジャーの名前、および意味に関する簡単な説明を示します。
| テストの種類 | 基準と説明 |
|---|---|
| クラスタリング | クラスタリング モデルに適用されるメジャー: ケースの可能性: このメジャーは通常、ケースが特定のクラスターに属している可能性を示します。 相互検証の場合、スコアが集計された後、ケースの数で割られます。スコアは、ケースの平均確率となります。 |
| 分類 | 分類モデルに適用されるメジャー: 真陽性/ True Negative/ 誤検知/ 誤検知: 予測状態がターゲット状態と一致し、予測確率が指定されたしきい値を超えるパーティション内の行または値の数。 ターゲット属性の欠損値があるケースは除外されます。つまり、すべての値の数が加算されない可能性があります |
| 成功/失敗: 予測状態がターゲットの状態と一致し、予測確率値が 0 より大きいパーティション内の行または値の数。 | |
| Likelihood | 尤度メジャーは、複数のモデルの種類に適用されます。 リフト: 実際の予測確率とテスト ケースの限界確率の比率。 対象の属性の不足値があるケースは除外されます。 通常、モデルが使用されるときに対象の結果の確率がどれだけ向上するかを示します。 平方根平均誤差: すべてのパーティション ケースの平均誤差の平方根。ターゲット属性の欠損値を持つ行を除き、パーティション内のケースの数で割ります。 RMSE は、予測モデルの一般的な推定機能です。 スコアは各ケースの残差を平均し、モデル誤差の 1 つのインジケーターを生成します。 ログ スコア: 各ケースの実際の確率の対数を合計した後、入力データセット内の行数で除算し、ターゲット属性の欠損値を持つ行を除きます。 確率は小数で表されるので、ログ スコアは常に負の数値になります。 0 に近い数値ほど、良いスコアになります。 生のスコアが非常に不規則な分布またはゆがんだ分布を持つのに対し、ログ スコアは割合に似ています。 |
| 推定 | 連続する数値属性を予測する推定モデルにのみ適用されるメジャー: 平方根平均誤差: 予測値が実際の値と比較されたときの平均誤差。 RMSE は、予測モデルの一般的な推定機能です。 スコアは各ケースの残差を平均し、モデル誤差の 1 つのインジケーターを生成します。 平均絶対誤差: 予測値が実際の値と比較されたときの平均誤差。誤差の絶対和の平均として計算されます。 平均絶対誤差は、予測全体が実際の値にどの程度近いかを判断するときに便利です。 小さいスコアは、予測が正確だったことを意味します。 ログ スコア: 各ケースの実際の確率の対数を合計し、入力データセット内の行数で除算します。ターゲット属性の欠損値を持つ行を除きます。 確率は小数で表されるので、ログ スコアは常に負の数値になります。 0 に近い数値ほど、良いスコアになります。 生のスコアが非常に不規則な分布またはゆがんだ分布を持つのに対し、ログ スコアは割合に似ています。 |
| 集計 | 集計メジャーは、各パーティションの結果の差異を示します。 平均: 特定のメジャーのパーティション値の平均。 標準偏差: モデル内のすべてのパーティションにわたる、特定のメジャーの平均からの偏差の平均。 相互検証の場合、このスコアの値が高いことは、フォールドの間の変動が大きいことを意味します。 |