単回帰分析と相関分析の違いと数式における関係性の解説

こんにちは。ゆうせいです。

統計学を学び始めると、2つのデータの関係を調べる手法として単回帰分析と相関分析という手法が登場します。どちらも散布図の上に並ぶ点群を扱うため、どのような違いがあるのか疑問に思う方も多い分野です。今回は、両者の概念の違い、数式による明確な結びつき、それぞれの長所と短所について整理して解説します。

単回帰分析と相関分析の基本的な役割

2つのデータ群を扱う際、分析の目的によって選ぶ手法が異なります。

相関分析とは

相関分析は、2つの変数の間に直線的な関係がどの程度あるかを数値化する手法です。その強さを表す尺度として相関係数が用いられます。相関係数は-1から1の間の値をとります。1に近ければ一方が増えるともう一方も増える関係、-1に近ければ一方が増えるともう一方が減る関係、0に近ければ直線的な関係がない状態を示します。

相関分析には原因と結果という向きがありません。身長と体重のように、どちらを基準にしても同じ1つの相関係数が得られます。これは、2人が向かい合ってお互いの手を握り合い、その引き合う強さだけを測る様子に例えられます。

単回帰分析とは

単回帰分析は、一方の変数からもう一方の変数の数値を予測する直線の式を求める手法です。予測の基となる変数を説明変数、予測される変数を目的変数と呼びます。

例えば、勉強時間(説明変数)をもとにテストの点数(目的変数)を予測する場合のように、方向性が定まっています。これは、発射台の角度(説明変数)を決めることで、ボールがどこまで飛ぶか(目的変数)を予測する作業に例えられます。

単回帰分析と相関分析の数式における関係

単回帰分析と相関分析は別個の手法ではなく、数式の上で直接つながっています。

単回帰分析における予測の直線は、次の式で表されます。

y = ax + b

xは説明変数、yは目的変数、aは直線の傾きを表す回帰係数、bは切片です。

この傾きaを最小二乗法という手法で求めると、xの分散に対する、xとyの共分散の比率として計算されます。xの標準偏差をs_{x}、yの標準偏差をs_{y}、2つの変数の共分散をs_{xy}と表すと、傾きaは以下の式になります。

a = \frac{s_{xy}}{s_{x}^{2}}

一方、相関係数rは、共分散をそれぞれの標準偏差の積で割った値です。

r = \frac{s_{xy}}{s_{x} s_{y}}

この相関係数rの式を変形して共分散についてまとめ、傾きaの式に代入すると、次の関係式が導かれます。

a = r \frac{s_{y}}{s_{x}}

この数式は、次の内容を示しています。

  • 回帰直線の傾きaの正負は、相関係数rの正負と常に一致します。
  • 傾きaは、相関係数rに2つの変数の標準偏差の比率を掛け合わせた数値になります。
  • 2つの変数の単位を揃える標準化(平均0、標準偏差1に変換)を行った場合、標準偏差の比率が1になるため、回帰係数aと相関係数rは完全に一致します。

さらに、単回帰分析においてデータのばらつきを直線がどれくらい説明できているかを示す決定係数という値があります。説明変数が1つの単回帰分析では、この決定係数は相関係数の2乗と等しくなります。

両分析のメリットとデメリット

実際のデータ分析において使い分けるため、それぞれの特徴を整理します。

相関分析の長所と短所

  • メリット:単位に依存せず、-1から1までの決められた範囲で関係の強さを客観的に比較できます。
  • メリット:原因と結果の前提を置かずに、2つのデータの類似性を手軽に確認できます。
  • デメリット:直線的な関係しか捉えられず、曲線的な関係がある場合は0に近い値が出力されます。
  • デメリット:具体的な数値を代入して将来の値を算出するような予測の用途には使えません。

単回帰分析の長所と短所

  • メリット:説明変数の値が決まれば、目的変数の値を数式によって具体的に予測できます。
  • メリット:回帰係数を見ることで、説明変数が1単位変化した際に目的変数がいくつ変化するかという変化量を把握できます。
  • デメリット:説明変数と目的変数の設定を逆にすると、異なる予測式が導出されるため、事前に変数の役割を決める必要があります。
  • デメリット:データが存在しない範囲まで外挿して予測を行うと、予測精度が大きく下がる場合があります。

まとめ

単回帰分析と相関分析は、数式を通じて密接につながっています。相関係数は関係の強さを表し、その相関係数にデータのばらつき度合いの比率を掛け合わせることで、単回帰分析の直線の傾きが得られます。

理解を深めるための手順は次の通りです。

  1. 平均値、分散、標準偏差の計算方法を確認する。
  2. 2つの変数の広がりを示す共分散と、それを標準化した相関係数の算出式を理解する。
  3. 最小二乗法による傾きの導出式と相関係数の式を比較し、手計算で変形を確かめる。
  4. 表計算ソフトやプログラミング言語を用いて、実際のデータセットで傾きと相関係数を算出し、関係性を確認する。

順を追って数式の結びつきを確かめることで、データ分析の基礎をより確実に習得できます。

セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。

投稿者プロフィール

山崎講師
山崎講師代表取締役
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します!
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。