特異値分解(SVD)の公式の覚え方とは?A=UΣVᵀを初心者向けに解説
こんにちは。ゆうせいです。
データ分析や画像圧縮、機械学習の基礎理論を学ぶ過程で、避けて通れない重要な計算手法に特異値分解(Singular Value Decomposition、略称SVD)があります。数式を見るとアルファベットや転置記号が並んでおり、初学者にとっては記号の順序や操作の意味を暗記するのが難しく感じられる場合もあります。
今回は、特異値分解の基本公式である A=UΣVᵀ について、各記号が表す幾何学的な意味や、「回転・伸縮・回転」という順序に基づいた直感的な覚え方、扱う上での長所と短所を、前提知識を持たない初心者に向けて順序立てて解説します。
特異値分解の公式を構成する文字の意味
特異値分解の公式は、次のような数式で記述されます。
A = UΣVᵀ
等式の右辺に登場する記号は、それぞれ特定の役割を持つ行列を表しています。
- A:分解の対象となる元の行列 行の数と列の数が異なる長方形のデータ表であっても扱える、任意の行列です。
- Vᵀ:入力空間の直交基底を並べた直交行列 V の転置行列 入力側の座標軸を整える役割を担う行列です。直交行列であるため、データの長さを変えずに回転や反転を行う性質を持っています。
- Σ(シグマの大文字):特異値を対角線上に並べた対角行列 左上から右下への対角線上に、特異値と呼ばれる正の実数が大きい順に配置されています。対角線以外の成分はすべて0です。
- U:出力空間の直交基底を並べた直交行列 変換後の空間における基準となる軸を決定する行列です。行列 V と同様に直交行列であり、回転や反転の働きを担います。
高校生向けの例えを用いるなら、粘土で作られた球体を別の形状へ変形させる工程に似ています。球体を適切な向きへ回転させて位置を整える操作が Vᵀ であり、その球体を縦や横に引っ張って楕円体に引き伸ばす操作が Σ です。最後に、引き伸ばされた楕円体を目的の向きへと再び回転させる操作が U にあたります。
特異値分解の公式の覚え方:回転・伸縮・回転の順序
特異値分解の公式において文字の並びを取り違えないためには、ベクトルに対して変換が作用する時間的な順序を、数式の右から左へと辿る方法が適しています。
行列をベクトルに掛け合わせる際、計算は右側に置かれた行列から順番に適用されます。入力されたベクトル x に対する作用は、次の3段階で進行します。
- 1段階目の操作(一番右):Vᵀによる回転 入力データを回転させ、伸び縮みさせやすい特別な座標軸へと向きを合わせます。
- 2段階目の操作(中央):Σによる伸縮 揃えられた軸に沿って、各方向の数値を特異値の倍率でそれぞれ拡大または縮小します。互いの軸が干渉しないため、純粋な伸縮のみが行われます。
- 3段階目の操作(一番左):Uによる回転 伸縮によって作られた楕円体状のデータを、出力空間の目的に応じた向きへと再度回転させて配置します。
このように「回転して(Vᵀ)、伸縮し(Σ)、再び回転する(U)」という一連の幾何学的な変形プロセスを把握すると、作用の順序に従って右から Vᵀ、Σ、U と並ぶ必然性が確認できます。数式全体では A = UΣVᵀ の配置となり、記号の取り違えを防ぐことができます。

特異値分解を扱うメリットとデメリット
特異値分解は、数学理論だけでなく計算機科学の実務において幅広く活用されています。具体的な性質に基づく長所と短所を整理します。
特異値分解のメリット
- 正方行列以外の任意の長方形データにも適用できる 固有値分解は縦横のサイズが等しい正方行列に限定されますが、特異値分解は行と列の数が異なるあらゆる行列に対して常に分解が可能です。
- 低ランク近似によりデータ量を大幅に削減できる 対角行列 Σ に並ぶ特異値は数値の大きい順に並んでいるため、値の小さい特異値と対応する列を切り捨てて計算を打ち切ることができます。この性質を利用することで、画像の圧縮や推薦システムにおいて重要な情報だけを残した近似表現を作成できます。
- 特異値が常に0以上の実数になる 固有値の計算では複素数が現れる場合がありますが、特異値は必ず0以上の実数として算出されるため、数値の大小関係や寄与度を直接比較できます。
特異値分解のデメリット
- 大規模な行列に対する計算コストが高い サイズが非常に大きいデータ行列に対して特異値分解を厳密に実行する場合、膨大な計算手順と処理時間を必要とします。
- 負の方向への直接的な伸縮を表現できない 特異値はすべて非負の実数として定義されるため、符号の反転を伴う伸縮は特異値単体ではなく、直交行列側の反転(行列式の符号)に委ねられる構造となっています。
- 得られた基底の解釈が困難な場合がある 数学的には情報量が最大となる軸が抽出されますが、それぞれの軸が人間にとって具体的にどのような意味を持つ特徴量であるのかを直感的に解釈しにくいケースが存在します。
まとめ:特異値分解の公式を習得するための学習ステップ
特異値分解の公式を確実に理解するためには、次の順序で学習を進めると全体の構成を把握しやすくなります。
- 直交行列の幾何学的な性質を確認する 直交行列を掛ける操作が、ベクトルの長さや角度を変えずに回転や反転のみを行う変換であることを復習します。
- 転置行列との積 AᵀA の固有値問題を解く 元の行列 A に対して AᵀA を計算すると対称行列が得られる点に着目し、その固有値から特異値が導き出される関係を手計算で確かめます。
- 2行2列の具体例を用いて回転と伸縮の数値を追う 簡単な数値を入れた小さな行列を用意し、Vᵀ による回転、Σ による伸縮、U による回転の各段階で座標がどのように移り変わるかを計算します。
- 主成分分析や画像圧縮のアルゴリズムへ応用を展開する 特異値の大きい上位の成分だけを取り出して行列を再構成する切り捨ての処理を学び、データの次元削減やノイズ除去の仕組みへと学習を進めます。
以上の順序で学習を進めることで、特異値分解の幾何学的な直感から実務的なデータ処理技術への接続を段階的に身につけることができます。
投稿者プロフィール






