線形回帰の正規方程式の覚え方とは？w=(XᵀX)⁻¹Xᵀyの仕組みを初心者向けに解説

2026年10月27日 2026年10月27日山崎講師

山崎講師

こんにちは。ゆうせいです。

統計学や機械学習の基礎を学ぶ過程で、データの予測を行う最初の手法として線形回帰が登場します。その計算を一度の操作で完了させる数式が正規方程式です。アルファベットや転置記号、逆行列の記号が複数組み合わさっているため、記号の並び順を覚える段階で戸惑う方も少なくありません。

今回は、正規方程式の公式である w=(XᵀX)⁻¹Xᵀy について、各記号が表す役割や数式の構成理由、長所と短所を、前提知識を持たない初心者に向けて順序立てて解説します。

正規方程式の公式を構成する文字の役割

正規方程式は、次の等式で表されます。

w = (XᵀX)⁻¹Xᵀy

公式に含まれる記号は、それぞれ線形回帰における特定の要素を表しています。

y：予測したい正解の数値（目的変数）を縦に並べたベクトル例えば、住宅の販売価格や試験の点数など、予測の目標となる実際の数値の集まりです。
X：予測の根拠として用いるデータ（説明変数）を並べた行列住宅の部屋数や駅からの距離、学習時間など、予測の手がかりとなる数値を表形式にまとめた長方形のデータ表です。
w：求めたい重み（パラメータ）を並べたベクトル各手がかりに対して、どれほどの重要度を掛ければ最も正確に数値を予測できるかを示す調整用の数値群です。
Xᵀ：行列 X の行と列を反転させた転置行列縦と横の並びを入れ替えた行列であり、長方形データの掛け算を成立させるために配置されます。
(XᵀX)⁻¹：Xᵀ と X を掛け合わせた正方行列の逆行列行列同士の掛け算で数値を割る操作に相当する逆変換の行列です。

高校生向けの例えを用いるなら、学校のテストの点数を予想する計算に似ています。過去の先輩たちの勉強時間や提出物の完成度（行列 X）と、実際のテストの点数（ベクトル y）を突き合わせて、勉強時間1時間あたり何点分に相当するかという換算レート（ベクトル w）を、方程式を解いて直接導き出す作業にあたります。

正規方程式の公式の覚え方

文字の並び順を確実に記憶するためには、基本となる予測式から通常の一次方程式を解くような変形の流れを把握する方法が適しています。

本来の目標は、データ行列 X に重み w を掛けた結果を、正解データ y にできる限り近づけることです。理想的な状態を簡単な関係式で表すと次のようになります。

Xw = y

もし X が単なるひとつの数値であれば、両辺を X で割ることで w の値を求めることができます。しかし、X は正方形ではない長方形の行列であるため、直接逆行列を掛けて消去することができません。

そこで、左から順に次の段階を踏んで変形を進めます。

両辺の左側から転置行列 Xᵀ を掛ける長方形の行列 X の左側に Xᵀ を掛けると、XᵀX という行と列の数が一致する正方形の行列が作られます。数式は次の形へ変化します。

XᵀXw = Xᵀy

正方行列 XᵀX の逆行列を左から掛ける正方形になった XᵀX は、一定の条件を満たせば逆行列 (XᵀX)⁻¹ を持ちます。この逆行列を両辺の左側から掛けることで、左辺の XᵀX が単位行列となって相殺され、w だけが左辺に残ります。

以上の手順を経ることで、公式である w = (XᵀX)⁻¹Xᵀy が導き出されます。

理想の式である Xw = y を頭に置き、左から Xᵀ を掛けて正方形にし、できた正方行列の逆行列を再び左から掛けて w を取り出す、という2段階の操作手順で整理すると、記号の順番を取り違えずに再現できます。

正規方程式を扱うメリットとデメリット

正規方程式は、予測モデルの重みを算出する明確な計算手法です。客観的な性質に基づく長所と短所を整理します。

正規方程式のメリット

反復計算を行わずに一度の行列計算で最適な解が求まる勾配降下法などの最適化手法とは異なり、学習率の設定や何百回もの計算ループを必要とせず、数式に数値を代入するだけで厳密な解が得られます。
数理的な性質が明確で誤差の解釈が容易である得られる解は、予測値と実際の値のズレを最小にする最小二乗法に基づいているため、統計学的な理論展開や残差の評価を整然と進めることができます。

正規方程式のデメリット

特徴量の数が多い場合に計算時間が膨大になる公式に含まれる逆行列の計算は、データの項目数（列数）が増えると計算量が急激に増大します。項目数が数万を超えるような大規模データでは、コンピュータの処理が追いつかなくなる傾向があります。
行列 XᵀX が正則でない場合に逆行列が存在しないデータの中にまったく同じ内容の列が含まれている場合や、データの行数が列数よりも少ない場合、XᵀX の逆行列を計算することができません。その際は、不要な列を削除するか、疑似逆行列と呼ばれる代替の計算を用いる必要があります。

まとめ：正規方程式を習得するための学習ステップ

正規方程式の公式を確実に理解するためには、次の順序で学習を進めると、全体の流れを把握しやすくなります。

ベクトルと行列の掛け算のルールを確認する行列 X とベクトル w を掛け合わせた結果が、各項目に重みを掛けた予測値の足し合わせになる関係を復習します。
転置行列と正方行列の作成過程を手作業で確認する 2行1列の小さなデータを用いて XᵀX を計算し、長方形のデータから正方形の行列が生成される仕組みを確かめます。
2次元の簡単なデータで重み w を算出する 2点を通る直線を引くような小さな数値例を用意し、公式に代入して傾きと切片に相当する重みを実際に手計算します。
勾配降下法との計算手順の比較を行うデータ規模に応じて正規方程式による直接解法と、反復的に重みを更新する勾配降下法のどちらを選択すべきか、計算負荷の観点から整理します。

以上の順序で学習を進めることで、正規方程式の数式構造から実際のデータ解析への適用方法までを段階的に身につけることができます。

セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。

投稿者プロフィール

山崎講師代表取締役

セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。