特異値分解と固有値分解の違いとは?適用できる行列の形状と用途を初心者向けに解説

こんにちは。ゆうせいです。

線形代数の応用を学び進めると、データ分析や機械学習の基盤となる計算手法として固有値分解と特異値分解(SVD)の2つが登場します。どちらも行列を複数の単純な要素へと分解する手法ですが、具体的にどのような違いがあり、どのように使い分けるのかについて疑問を持つ方も少なくありません。

今回は、特異値分解と固有値分解の違いについて、適用できる行列の形状や実際の用途、それぞれの長所と短所の観点から、前提知識を持たない初心者に向けて順序立てて解説します。

固有値分解と特異値分解の基本的な仕組みと形状の違い

行列とは、数値を長方形や正方形の格子状に並べた構造を指します。横の並びを行、縦の並びを列と呼びます。

固有値分解と特異値分解における最も根本的な差異は、扱える行列の形状にあります。

固有値分解は、行の数と列の数が完全に一致する正方行列のみを対象とする手法です。正方形の形状を持つ行列に対して、向きが変わらない固有ベクトルと、その方向への伸縮率を示す固有値を求めます。

A = PDP^{-1}

数式の P は固有ベクトルを並べた正方行列、D は固有値を対角線上に並べた対角行列、P^-1 は P の逆行列を表します。入力される空間と出力される空間の次元が同一である変換に限定して適用されます。

特異値分解は、行の数と列の数が異なる長方形の行列を含む、あらゆる形状の行列に対して適用できる手法です。縦横のサイズが不揃いなデータ表であっても、入力空間の直交基底、伸縮率を示す特異値、出力空間の直交基底という3つの要素へ分解します。

A = U\Sigma V^{T}

数式の U は出力空間の基底を並べた直交行列、Σ は特異値を並べた対角行列、V^T は入力空間の基底を並べた直交行列 V の転置行列を表します。入力と出力で空間の次元が変化する変換に対しても定義できます。

高校生向けの例えを用いるなら、固有値分解は同一の部屋の中での模様替えに似ています。部屋の広さや形(次元)は変わらず、部屋の中に置かれた家具の向きを揃えたり、特定の方向に引き伸ばしたりする操作です。これに対し、特異値分解は写真の撮影に似ています。3次元の立体的な物体(縦横高さのデータ)を撮影して2次元の平らな写真(縦横のみのデータ)へ移し替えるような、異なる広さや次元の間を橋渡しする変形を扱います。

用途における違いと使い分け

適用できる形状の違いに伴い、実社会における利用用途も明確に分かれます。

固有値分解の主な用途

  • 行列の累乗計算の高速化 同一の正方行列を繰り返し掛け合わせる計算において、対角成分の累乗のみに計算を置き換えることができます。
  • 動的システムの将来予測 時間経過とともに状態が変化する現象において、固有値の大きさを調べることで、長期的に数値が発散するか安定して収束するかを判別します。
  • 振動や波動の解析 建築物の揺れやすさや電気回路の共振周波数など、系全体が持つ特有の振動モードを特定します。

特異値分解の主な用途

  • 多変量データの次元削減(主成分分析) 被験者数と測定項目数が異なるような長方形のデータ表から、情報の損失を最小限に抑えつつ重要な合成変数を抽出します。
  • 画像圧縮やノイズ除去 特異値の大きい上位の成分だけを残して小さな成分を切り捨てることで、画像のデータサイズを大幅に削減しながら元の輪郭を保ちます。
  • 推薦システム(レコメンデーション) 利用者と商品の評価履歴を行列として並べ、空欄となっている未評価の項目を高精度に推測して推薦候補を割り出します。

それぞれの手法におけるメリットとデメリット

両手法の長所と短所を客観的な事実に基づいて整理します。

固有値分解のメリットとデメリット

メリット

  • 座標系の変換と復元が左右対称の構造を持つため、自己完結した同一空間の物理モデルを簡潔に記述できます。
  • 正方行列の累乗や指数行列の計算手順を最小限に圧縮できます。

デメリット

  • 正方形の行列以外には適用できず、一般的な長方形の測定データ表を直接分解することができません。
  • すべての正方行列で分解が成立するわけではなく、固有ベクトルが不足して対角化が行えない例外が存在します。
  • 実数のみで構成された行列であっても、計算結果として虚数を含む複素数が現れる場合があります。

特異値分解のメリットとデメリット

メリット

  • 縦と横のサイズが異なるあらゆる長方形行列に対して常に分解が可能です。
  • 特異値が必ず0以上の実数となるため、成分ごとの重要度を数値の大小関係として直接比較できます。
  • 低ランク近似により、データ量を効率的に削減した近似行列を安定して構成できます。

デメリット

  • 直交行列 U と V のサイズが大きくなりやすく、大規模なデータに対して厳密な計算を行う際の計算機への負荷が高くなります。
  • 入力空間と出力空間で異なる座標系が生成されるため、系が時間とともに自己更新を繰り返す過程の追跡には直接向きません。

まとめ:両手法の違いを把握するための学習ステップ

固有値分解と特異値分解の使い分けを確実に習得するためには、次の順序で学習を進めると、全体の関連性を整理しやすくなります。

  1. 正方行列と一般の長方行列における変換の性質を確認する 空間の次元が保たれる変換と、次元が変化するデータの射影の違いを幾何学的に把握します。
  2. 実対称行列における固有値分解の性質を復習する 対称行列では固有値が必ず実数になり、固有ベクトルが直交するという基本性質を確認します。
  3. 転置行列との積から特異値を導出する計算を行う 長方形の行列 A に対して A^T A という対称行列を作り、その固有値の平方根を求めることで特異値が得られる仕組みを手作業で確かめます。
  4. 画像の圧縮処理や主成分分析のプログラムへ応用を展開する 長方形の測定データに対して特異値分解を施し、小さな特異値を切り捨てることでデータ容量が削減される過程を実際のデータを用いて確認します。

以上の順序で学習を進めることで、行列の形状に応じた適切な分解手法の選定と、各種データ解析技術への適用方法を体系的に理解することができます。

投稿者プロフィール

山崎講師
山崎講師代表取締役
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します!
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。