平均二乗誤差と残差二乗和の違いと計算式を初心者向けに解説
山崎講師こんにちは。ゆうせいです。
機械学習や統計学を学び始めると、予測の正確さを測る指標として平均二乗誤差と残差二乗和という専門用語に頻繁に出会います。一見すると似たような言葉ですが、平均二乗誤差と残差二乗和は明確に異なる指標です。本記事では、それぞれの指標の意味と役割、そして具体的な違いについて解説します。
残差二乗和と平均二乗誤差の基本的な意味
予測の正確さを測るためには、まず予測値と実際の数値とのズレを把握する必要があります。数値のズレを残差と呼びます。
高校の弓道部の練習を想像してください。的の中心を予測値、実際に矢が刺さった場所を実際の数値と設定します。的の中心から矢が刺さった場所までの距離が残差に相当します。
残差二乗和の役割
残差二乗和は、すべてのデータの残差をそれぞれ二乗し、それらをすべて足し合わせた合計値です。
弓道部の例えを用いると、一人の部員が放った10本の矢について、それぞれの的の中心からの距離を測定します。マイナスの数値をなくし、大きなズレをより厳しく評価するために各距離の数値を二乗します。そして、10本分の数値をすべて合計したものが残差二乗和です。合計値であるため、部員が放つ矢の数が増えれば増えるほど、算出される数値は際限なく大きくなっていきます。
平均二乗誤差の役割
平均二乗誤差は、算出した残差二乗和をデータの総数で割った数値です。
弓道部の例えにおいて、合計した数値を放った矢の総数である10で割る作業に相当します。計算によって、矢1本あたりの平均的なズレの大きさを導き出すことができます。矢を10本放った部員と、矢を50本放った部員の成績を平等に比較するためには、ズレの合計値ではなく平均値を出す必要があります。
計算式の構造
残差二乗和と平均二乗誤差の具体的な数式を記載します。データの総数を n、各データの実際の数値を y、予測値を y にハット記号を付けた文字とします。
残差二乗和の式は次の形になります。
平均二乗誤差の式は、上記の残差二乗和をデータ数 n で割った形になります。
すべてのズレを足し合わせた合計なのか、その合計を個数で割った平均なのかという点が、数式上の決定的な違いとなります。
それぞれの指標を採用するメリットとデメリット
各指標を評価の基準として利用する際の利点と欠点を整理します。
残差二乗和のメリットとデメリット
メリットは、計算の過程が単純であり、データ全体のズレの総量を直感的に把握しやすい点にあります。
デメリットは、比較するデータの数が異なる場合、妥当な比較ができない点です。データ数が多いほどズレの合計値も自然と大きくなるため、異なる条件のモデル性能を測る基準としては適していません。
平均二乗誤差のメリットとデメリット
メリットは、データ数に依存せずに予測の精度を評価できる点です。データ数が異なる複数のモデル同士であっても、1データあたりの平均的な誤差を算出することで、等しい条件で性能を比較することができます。
デメリットは、ズレの数値を二乗しているため、元のデータと単位が変わってしまう点です。また、極端にズレが大きいデータが一つでも存在すると、二乗によってその影響が過剰に大きくなり、全体の評価数値を実態以上に引き上げてしまう傾向があります。
学習のステップ
2つの指標の役割を深く理解するためには、次の順序で学習を進めることをお勧めします。
- 数個の小規模なデータを用意し、予測値と実際の数値のズレを計算して書き出す。
- 書き出した数値をそれぞれ二乗して合計し、残差二乗和を自力で導き出す。
- 導き出した残差二乗和をデータの数で割り、平均二乗誤差の数値を計算して、合計値と平均値の用途の違いを確認する。
示された手順を踏むことで、数式の意味とモデル評価の基本を順を追って身につけることができます。
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
