回帰分析を前提として残差が正規分布である必要があるというのはどういうことか？

2024年9月7日 2024年9月7日山崎講師

山崎講師

回帰分析における残差の正規分布とは？

回帰分析は、ある変数（目的変数）が他の変数（説明変数）にどのように依存しているかを分析する手法です。例えば、勉強時間（説明変数）が試験の点数（目的変数）にどれだけ影響を与えるかを調べるといったことができます。ここで重要なのは、回帰分析を正確に行うためには、いくつかの前提条件が成り立っている必要があるという点です。

その中でもよく耳にするのが「残差が正規分布に従う」という前提です。では、この「残差が正規分布に従う」とは具体的にどのような意味なのでしょうか？

残差とは？

まず、「残差」という言葉から説明します。回帰分析を行うと、回帰式（例えば、線形回帰であれば直線の方程式）がデータに対してフィットします。しかし、実際のデータはこの回帰式にぴったりと沿うわけではなく、多少のズレが生じます。そのズレを「残差」と呼びます。

例を挙げると、勉強時間が2時間で試験の点数が70点だと予測されたとします。しかし、実際にはその人の点数が72点だった場合、残差は「72 - 70 = 2」となります。この2点の差が「残差」です。

残差が正規分布に従うとは？

残差が正規分布に従うというのは、これらのズレ（残差）が全体的に見ると、平均が0に集中していて、そこから外れるほど数が少なくなるという性質を持つということです。この分布は、よく「釣鐘型のカーブ」で表現されます。

もし残差が正規分布に従っていると、以下のようなことが期待されます：

多くのデータ点が回帰式に近い値を取る（残差が小さい）。
かなりずれた値（大きな残差）は少数である。

この前提が成り立つことで、回帰分析の結果が正確で信頼できるものになるというわけです。

なぜ正規分布が重要なのか？

では、なぜ「残差が正規分布に従う」ことが重要なのでしょうか？それにはいくつか理由がありますが、特に以下の点が重要です。

1. 回帰モデルの信頼性

残差が正規分布に従う場合、モデルの予測精度や信頼区間などを正しく計算できるようになります。例えば、信頼区間とは「この範囲に真の値があるだろう」と推測できる区間ですが、残差が正規分布でないと、この区間が正しく推測できません。

2. 統計的検定の正当性

残差が正規分布に従っていることで、t検定やF検定といった統計的な検定が有効に機能します。これにより、モデルが統計的に有意かどうかを判断することができます。

残差が正規分布でない場合の影響

もし残差が正規分布に従っていないと、モデルの予測精度や検定結果が信頼できなくなります。例えば、残差が一方向に大きく偏っている場合、モデルはデータの一部に過剰適合してしまい、他のデータにはうまく適合しないことがあります。

これにより、以下のような問題が発生する可能性があります。

モデルの予測が不安定になる。
信頼区間や検定結果が誤った結論を導きやすくなる。

正規分布かどうかの確認方法

残差が正規分布に従っているかどうかを確認するためには、いくつかの方法があります。代表的なものを紹介します。

1. ヒストグラム

残差のヒストグラムを作成し、釣鐘型の形になっているかを確認します。もし形が大きく歪んでいたり、複数の山がある場合は正規分布ではない可能性があります。

2. Q-Qプロット

Q-Qプロットは、データの分布と理論的な正規分布を比較するためのグラフです。データが正規分布に従っている場合、Q-Qプロットはほぼ直線に沿います。大きく外れている場合は、正規分布ではないと判断できます。

3. 正規性検定

例えば、Shapiro-Wilk検定やKolmogorov-Smirnov検定を使って、残差が正規分布に従っているかを統計的に確認することができます。これらの検定は、残差が正規分布からどれだけ逸脱しているかを数値的に判断してくれます。

正規分布ではない場合の対策

もし残差が正規分布に従っていないと判明した場合、どうすればよいのでしょうか？

1. 変数変換

目的変数や説明変数を対数変換する、平方根を取るなど、データを適切に変換することで正規分布に近づけることができます。これを「データの変換」と言います。

2. ロバスト回帰

正規分布の前提を強く求めないロバストな（頑強な）回帰モデルを使う方法もあります。これにより、残差が正規分布に従わなくても分析を続けられます。

最後に

回帰分析において「残差が正規分布に従う」という前提は、モデルの信頼性を高めるために重要な要素です。残差が正規分布に従わない場合、モデルが不正確になるリスクがありますが、適切な対策を講じることでその問題に対処することが可能です。これから回帰分析を学ぶ際には、残差の確認と正規分布の理解を深めることが大切です。

投稿者プロフィール

山崎講師代表取締役

セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。