Machine Learning Studio (クラシック) でモデルのパフォーマンスを評価する

[アーティクル]
03/20/2017

適用対象: Machine Learning Studio (クラシック) 適用対象外 Azure Machine Learning

重要

Machine Learning Studio (クラシック) のサポートは、2024 年 8 月 31 日に終了します。その日までに、Azure Machine Learning に切り替えすることをお勧めします。

2021 年 12 月 1 日以降、新しい Machine Learning Studio (クラシック) リソースは作成できません。 2024 年 8 月 31 日まで、既存の Machine Learning Studio (クラシック) リソースを引き続き使用できます。

ML Studio (クラシック) から Azure Machine Learning への機械学習プロジェクトの移動に関する情報を参照してください。
Azure Machine Learning についての詳細を参照してください

ML Studio (クラシック) のドキュメントは廃止予定であり、今後更新されない可能性があります。

この記事では、Machine Learning Studio (クラシック) でモデルのパフォーマンスを監視するために使用できるメトリックについて説明します。モデルのパフォーマンスの評価は、データサイエンスプロセスの重要な段階の 1 つです。その評価は、トレーニングしたモデルによるデータセットのスコア付け (予測) がどれほど成功したかを示す指標になります。 Machine Learning Studio (クラシック) では、機械学習の 2 つのメインモジュールを使用したモデルの評価がサポートされています。

これらのモジュールを使用すれば、機械学習と統計情報でよく使用されるさまざまなメトリックの観点からモデルのパフォーマンスを確認できます。

モデルの評価は、以下と一緒に検討する必要があります。

以下の 3 種類の学習のシナリオを取り上げます。

回帰
二項分類
多クラス分類

評価とクロス検証

評価とクロス検証は、モデルのパフォーマンスを測定する標準的な方法です。どちらの場合も評価メトリックが生成されるので、そのメトリックを確認したり、他のモデルと比較したりできます。

[モデルの評価] では、スコア付けされたデータセットが入力として 1 つ必要になります (2 つのモデルのパフォーマンスを比較する場合は 2 つ必要です)。そのため、結果を評価する前に、[モデルのトレーニング] モジュールでモデルのトレーニングを実行し、[モデルのスコア付け] モジュールでデータセットの予測を作成しておく必要があります。この評価は、スコア付けされたラベル/確率と実際のラベルに基づいて行われます。これらはすべて、[モデルのスコア付け] モジュールから出力されます。

あるいは、クロス検証を使用して、入力データの各サブセットに対して 10 分割のトレーニング/スコア付け/評価の操作を自動的に実行することもできます。その場合、入力データは 10 分割され、1 つはテスト用、残りの 9 つはトレーニング用になります。このプロセスが 10 回繰り返され、評価メトリックは平均化されます。そのようにして、モデルが新しいデータセットにどの程度汎用化されるかを確認できます。 [モデルのクロス検証] モジュールでは、トレーニングをしていないモデルとラベルの付いたデータセットを取り込んで、10 回の処理のそれぞれの評価結果と平均値を出力します。

以下の各セクションでは、シンプルな回帰モデルと分類モデルを作成し、[モデルの評価] モジュールと [モデルのクロス検証] モジュールを使用してそれぞれのパフォーマンスを評価します。

回帰モデルの評価

自動車の大きさ、馬力、エンジンの仕様などの特徴を利用して、価格を予測するとします。これは、ターゲット変数 (価格) が連続数値になる典型的な回帰問題です。自動車のさまざまな特徴の値に基づいて価格を予測する線形回帰モデルを作成できます。この回帰モデルを使用して、トレーニングで使用したのと同じデータセットのスコア付けを行うことができます。自動車の価格を予測したら、その予測と実際の価格の差異の平均値に基づいてモデルのパフォーマンスを評価できます。その一例として、Machine Learning Studio (クラシック) の [保存されたデータセット] セクションにある 自動車価格データ (生データ) データセット を使用します。

実験の作成

Machine Learning Studio (クラシック) で次のモジュールをワークスペースに追加します。

図 1 のようにポートを接続し、[モデルのトレーニング] モジュールのラベル列を price に設定します。

回帰モデルの評価

図 1. 回帰モデルの評価。

評価結果の確認

実験を実行したら、[モデルの評価] モジュールの出力ポートをクリックし、"視覚化" を選択して評価結果を確認できます。回帰モデルで使用できる評価メトリックは、"平均絶対誤差"、"二乗平均絶対誤差"、"相対絶対誤差"、"相対二乗誤差"、"決定係数" です。

ここでは、予測の値と実際の値の差異のことを「誤差」といいます。予測の値と実際の値の差が負の値になることもあるので、通常は、この差の絶対値または 2 乗が計算され、すべての事例の誤差が全体でどれほどの大きさになっているかを確認します。誤差のメトリックでは、実際の値に対する予測の値の平均偏差に基づいて回帰モデルの予測パフォーマンスを測定します。誤差の値が小さければ小さいほど、モデルの予測が正確だということになります。全体の誤差のメトリックがゼロであれば、そのモデルはデータに完璧に適合しています。

決定係数 (R 2 乗) も、モデルとデータがどれほど適合しているかを測定するための標準的な方法です。これは、モデルで説明される変動の比率として解釈できます。この場合は、比率が高いほど良く、1 は完璧に適合している状態です。

線形回帰の評価メトリック

図 2. 線形回帰の評価メトリック。

クロス検証の使用

前述のとおり、[モデルのクロス検証] モジュールを使用すれば、トレーニング/スコア付け/評価の反復処理を自動的に実行できます。この場合に必要なのは、データセット、トレーニングしていないモデル、および [モデルのクロス検証] モジュールのみです (下の図をご覧ください)。 [モデルのクロス検証] モジュールのプロパティで、ラベル列を price に設定する必要があります。

回帰モデルのクロス検証

図 3。回帰モデルのクロス検証。

実験を実行したら、[モデルのクロス検証] モジュールの該当する出力ポートをクリックして、評価結果を確認できます。それぞれの反復処理 (分割処理) の詳細と、各メトリックの結果の平均値が表示されます (図 4)。

回帰モデルのクロス検証の結果

図 4 回帰モデルのクロス検証の結果。

二項分類モデルの評価

二項分類のシナリオでは、ターゲット変数には 2 つの選択肢しかありません。たとえば、{0, 1}、{偽, 真}、{負, 正} などです。いくつかの人口統計や雇用の変数が含まれた成人従業員のデータセットが提供され、値 {"<=50 K", ">50 K"} を使った二項変数の収入レベルを予測するように依頼されたとします。つまり、年収が 5 万ドル以下の従業員を表す負のクラスと、その他の従業員を表す正のクラスです。回帰のシナリオの場合と同じく、モデルのトレーニング、データのスコア付け、結果の評価を行います。ここでの主な違いは、Machine Learning Studio (クラシック) で計算され出力されるメトリックの選択です。この収入レベルの予測シナリオでは、Adult データセットを使用して Studio (クラシック) の実験を作成し、よく使われている二項分類モデルである 2 クラスのロジスティック回帰モデルのパフォーマンスを評価します。