はじめに
擬陰性や擬陽性など、分類モデルによる誤りの種類に関して分類モデルを評価することができます。 これにより、モデルによって行われる誤りの種類に関する分析情報を得られますが、その意思決定条件をわずかに調整した場合にモデルがどのように動作するかについての詳細な情報が得られるとは限りません。 ここでは、受信者操作特性 (Receiver Operator Characteristic: ROC) 曲線について説明します。この曲線は、混同行列の概念に基づいていますが、モデルをより大きく向上させることができる詳細な情報を提供します。
シナリオ:
このモジュール全体を通し、次のシナリオ例を使用して、ROC 曲線の使用方法を説明して練習します。
あなたの雪崩救助団体は、軽量センサーによって検出された対象物が、ハイカーか、それとも木や岩などの自然物かを推定できる機械学習モデルの作成に成功しました。 これにより、山に何人の人がいるかを追跡できるため、雪崩が発生したときに救助隊が必要かどうかを判断できます。 このモデルはそこそこうまく動きますが、あなたは改善の余地があるかもしれないと考えています。 モデルでは、内部的に、対象物がハイカーかどうかについて、二者択一の判断を行う必要がありますが、これは確率に基づいています。 この意思決定プロセスを調整して、パフォーマンスを向上させることができるでしょうか。
[前提条件]
- 機械学習モデルに関する知識
学習の目的
このモジュールでは、次のことを行います。
- ROC 曲線の作成方法を理解する。
- これらの曲線を使用してモデルを評価および比較する方法について詳しく調べる。
- ROC 曲線にプロットされた特性を使用してモデルを微調整する。