ROC曲線(Receiver Operating Characteristic curve)は、分類モデルがどれだけ効率的に「陽性」と「陰性」を区別できるかを評価するための強力なツールです。 モデルは通常「陽性である確率」を出力しますが、どの確率からを「陽性」と判定するかの **しきい値 (Threshold)** によって性能は変わります。ROC曲線は、このしきい値を変化させたときの性能の変化をグラフにしたものです。
理想のモデルは、グラフの左上隅(FPR=0, TPR=1)に近い曲線を描きます。
モデルが予測した「陽性確率」の分布です。2つの分布が離れているほど、良いモデルと言えます。
下のスライダーを動かして、しきい値を変更してみてください。
しきい値を動かすと、下の曲線上の対応する点(●)が移動します。
AUCはROC曲線の下側の面積で、モデルの総合的な識別能力を示します。値は0から1の範囲で、1に近いほど高性能です。AUC=0.5(黒い点線)はランダムな予測(コイン投げ)と同等レベルを意味します。
現在のしきい値における、予測結果の内訳です。
予測結果 | |||
---|---|---|---|
陽性 (Positive) | 陰性 (Negative) | ||
実際 の 値 |
陽性 | ? | ? |
陰性 | ? | ? |