【新人エンジニア向け】モデルの「実力」どう測る?残差、汎化誤差、MAE、MSEの違い

こんにちは。ゆうせいです。

一生懸命に機械学習のモデルを作ったはいいけれど、「このモデル、本当に『デキる子』なのかな?」と、その実力をどうやって測ればいいか、悩んでいませんか?

モデルの性能を評価するとき、私たちは必ず「誤差(ごさ)」というものさしを使います。

この「誤差」、つまり「予測と現実のズレ」には、実はいくつか種類があり、測り方にも違いがあるんです。

今日は、新人エンジニアのあなたにぜひ知っておいてほしい、基本的な誤差の種類について、一つずつ丁寧に解説していきますね!

モデル評価の基本!「誤差」とは?

まず大前提として、誤差とは「モデルが予測した値」と「実際の値(実測値)」とのズレのことを指します。

例えば、モデルが「明日の来客数は100人」と予測したのに、実際は「105人」だった場合、この「5人」が誤差です。

この誤差をどう扱うかが、評価のキモになってきます。


誤差は「どこで」測る?

一口に誤差と言っても、「どのデータを使って測ったズレなのか?」によって、その意味合いが大きく変わってきます。

1. 残差(ざんさ)

これは、モデルを作るために使ったデータ(=手元の学習データ)での誤差のことです。

  • イメージ: 勉強に使った「練習問題集」での答え合わせ。
  • 特徴:モデルは、この「残差」をできるだけ小さくするように一生懸命に学習します。そのため、学習が進めば進むほど、残差は小さくなる傾向があります。
  • 注意点:残差が小さいからといって、喜ぶのはまだ早い!モデルが練習問題の「答えを丸暗記」してしまっただけ(これを過学習と言います)かもしれません。丸暗記したモデルは、見たことのない「本番の試験」では全く点が取れないですよね。

2. 真の誤差(汎化誤差・テスト誤差)

これこそが私たちが本当に知りたい、モデルがまだ一度も見たことがない「未知のデータ」に対する誤差のことです。

  • イメージ: 練習問題集ではなく、「本番の試験」での成績。
  • 特徴:この誤差が小さいモデルほど、「未知のデータに対しても、ちゃんと予測できる」優秀なモデル、つまり汎化(はんか)性能が高いモデルだと言えます。この真の誤差そのものを知ることはできないため、手元のデータを分割して作った「テストデータ」で測定したテスト誤差を、その代わりとして使います。

ズレを「どう」測る?

では、個々のデータで発生した「+5のズレ」や「-3のズレ」を、どうやって一つの評価値にまとめればよいでしょうか?

その計算方法にも種類があります。

1. 絶対誤差

これは、誤差の「大きさ」だけに着目した測り方です。

プラスかマイナスかは無視します。

  • 計算: 誤差が「+5」でも「-5」でも、絶対誤差は「5」となります。
  • 使われ方:この絶対誤差を、すべてのデータについて平均したものが MAE (Mean Absolute Error: 平均絶対誤差) です。MAEは「平均すると、だいたいこれくらい予測がズレるんだな」と直感的に理解しやすいのがメリットです。

2. 二乗誤差

これは、誤差を「2乗(同じ数を2回かける)」した測り方です。

  • 計算:
    • 誤差が「+5」なら 5 \times 5 = 25
    • 誤差が「-5」でも (-5) \times (-5) = 25
    • 誤差が「+2」なら 2 \times 2 = 4
  • 特徴:この計算方法のすごいところは、「大きなズレ」をより重く罰する(ペナルティを与える)点です!誤差「5」は25になりますが、誤差「2」は4にしかなりません。「予測をちょっと外すのは許すけど、ものすごく大きく外すのは絶対にダメ!」という場合に適しています。
  • 使われ方:この二乗誤差の平均が MSE (Mean Squared Error: 平均二乗誤差) です。さらに、MSEの平方根(ルート)を取って単位を元に戻したものが RMSE (Root Mean Squared Error: 二乗平均平方根誤差) です。

今後の学習の指針

さて、今日はモデル評価の基本となる「誤差」の種類についてお話ししました。

  • 残差: 練習問題での誤差
  • 汎化誤差(テスト誤差): 本番の試験での誤差
  • 絶対誤差: ズレの大きさをそのまま評価(→ MAE)
  • 二乗誤差: 大きなズレを厳しく評価(→ MSE, RMSE)

という違いがあることを、まずはしっかり押さえてください。

次に学ぶステップとしては、今日登場した「MAE」と「RMSE」のどちらを評価指標として選ぶべきか?を考えてみると良いでしょう。

「外れ値(極端に大きい誤差)の影響をどう考えるか?」が、使い分けの大きなヒントになりますよ。

モデルの「クセ」を見抜き、その実力を正しく評価できるよう、一歩ずつマスターしていきましょうね!
この基本をしっかり押さえておくことで、今後の学習がグッと楽になりますよ。

生成AI研修のおすすめメニュー

投稿者プロフィール

山崎講師
山崎講師代表取締役
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します!
この記事に間違い等ありましたらぜひお知らせください。