ニューラルネットワークにおける次元の変換：次元削減と次元拡張の役割
山崎講師こんにちは。ゆうせいです。
ニューラルネットワークの内部で行われている処理は、数学的な視点で見ると「データの形状（次元）を変化させるプロセス」の連続であると捉えることができます。入力された情報を整理したり、あるいは複雑に展開したりすることで、最終的な答えを導き出す仕組みについて、初心者の方にも分かりやすく解説します。
ニューラルネットワークと次元の関係
ニューラルネットワークは、複数の層が重なった構造をしています。各層には「ニューロン」と呼ばれる計算ユニットが存在し、一つの層にあるニューロンの数は、その層におけるデータの「次元数」を表します。
例えば、5つの数値（特徴量）を入力する場合、入力層は5次元となります。次の層のニューロンが10個であれば、データは10次元へと「拡張」され、逆に3個であれば3次元へと「削減」されたことになります。
次元の変化を捉える比喩
次元の変換を理解するために、料理の工程を例に考えてみましょう。
- 次元の拡張：これは「食材を細かく刻んで、成分を抽出する工程」に似ています。元の食材という一つの塊から、甘み、酸味、食感といった多様な要素を引き出し、情報を詳細に展開する状態です。
- 次元の削減：これは「抽出したエキスを煮詰めて、ソースを作る工程」です。多すぎる情報を整理し、本当に必要なエッセンスだけを凝縮して、一つの味（結論）にまとめる状態を指します。
次元の拡張が行われる理由とメリット
ネットワークの初期から中間層にかけては、しばしば次元を増やす処理が行われます。
潜在的な特徴の抽出
入力されたデータが持つ複雑な関係性を解き明かすために、あえて高次元の空間に情報を広げます。これにより、低次元では混ざり合って区別できなかったデータ同士の境界線が見えやすくなります。
メリット
- 複雑なパターンの学習：データの背後にある細かな特徴を捉えることが可能になります。
- 表現力の向上：ネットワークが表現できる情報のバリエーションが増加します。
次元の削減が行われる理由とメリット
ネットワークの後半や、特定の構造（オートエンコーダーなど）では、次元を減らす処理が重要な役割を果たします。
重要な情報の圧縮
膨大なデータの中から、ノイズ（不要な情報）を削ぎ落とし、本質的な特徴だけを抽出します。最終的な出力（例えば「犬か猫か」という2値の判断）に向かうにつれて、情報は絞り込まれていく必要があります。
メリット
- 計算コストの抑制：扱うデータ量が減るため、処理速度が向上します。
- 過学習の防止：細かいノイズに惑わされにくくなり、汎用的な判断ができるようになります。
変換のプロセスを数式で見る
ニューラルネットワークの各層で行われる計算は、行列とベクトルの積で表現されます。入力ベクトルを $v$ 、重み行列を $W$ としたとき、出力は以下のような形式で計算されます。
ここで、行列 $W$ の行数と列数を調整することにより、出力されるベクトル $y$ の次元を、入力 $v$ よりも大きく（拡張）したり、小さく（削減）したりすることが自在に制御されています。
まとめ
ニューラルネットワークは、目的とするタスクを達成するために、情報の解体（拡張）と統合（削減）を繰り返す動的なシステムであると言えます。
- 拡張によってデータの詳細な特徴を浮き彫りにする。
- 削減によって不要な情報を捨て、本質的な結論を導き出す。
この一連の流れが、人工知能が複雑な判断を下すための根幹を支えています。
学習のステップ
- 線形代数における「行列の形状」と「ベクトルの次元」の対応関係を確認してください。
- 畳み込みニューラルネットワーク（CNN）における、プーリング層がどのように次元を削減しているかを調べてみましょう。
- オートエンコーダーという手法を学習し、次元圧縮がいかにしてデータの本質を抽出するかを具体例とともに学んでください。
次は、実際に次元が変化する様子をプログラムで確認する手順について、一緒に見ていきましょう。
数値計算ライブラリを用いた次元の表現
Pythonには数値計算を効率的に行うためのNumPyと呼ばれる拡張機能が存在します。NumPyを利用することで、データのまとまりである配列の形状を簡単に操作および確認できます。配列に含まれる数値の個数が、そのままデータの次元数に相当します。
次元の変換を実行するコード
入力された5次元のデータを、一度10次元に拡張し、最後に3次元に削減する一連の流れをプログラムとして記述します。
import numpy as np
input_data = np.array([1.0, 2.0, 3.0, 4.0, 5.0])
weight_expand = np.random.rand(10, 5)
expanded_data = np.dot(weight_expand, input_data)
weight_reduce = np.random.rand(3, 10)
reduced_data = np.dot(weight_reduce, expanded_data)
print("入力データの次元:", input_data.shape)
print("拡張後のデータの次元:", expanded_data.shape)
print("削減後のデータの次元:", reduced_data.shape)
コードの構成と処理内容
記述したプログラムは、大きく3つの段階に分かれています。
- 入力層の定義：5つの数値を持つ初期データを準備します。
- 次元の拡張：10行5列の重み行列を作成し、入力データと掛け合わせます。行列の掛け算により、データは10個の数値を持つ状態へと変化します。
- 次元の削減：3行10列の重み行列を作成し、拡張されたデータと掛け合わせます。行列の掛け算により、最終的なデータは3個の数値を持つ状態に圧縮されます。
プログラムで確認するメリットとデメリット
コードを用いて次元変換を学習することには、明確な利点と注意点が存在します。
メリット
- 行列計算の可視化：ブラックボックスになりがちなネットワークの内部構造を、shapeという属性を利用して具体的な数値として確認できます。
- 計算規則の理解：入力の次元数と重み行列の列数を一致させる必要があるという、線形代数の厳密なルールを体感として学習できます。
デメリット
- 本質的な学習の欠如：記述したコードは単純な掛け算のみを実行しており、実際の人工知能が行うような、誤差を修正して重み行列の数値を最適化する学習の過程は含まれていません。
まとめ
Pythonのコードを通して、ニューラルネットワークが重み行列との掛け算によって次元の拡張と削減を制御している事実を確認しました。
行列の形状を操作する処理が、ネットワークの表現力の向上や情報の圧縮という重要な役割を担っています。
セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
