レイヤー正規化（Layer Normalization）の名称の由来と仕組み・特徴の解説

2026年10月10日 2026年10月10日山崎講師

山崎講師

こんにちは。ゆうせいです。

ディープラーニングにおいて、入力データの数値の偏りを整えて計算を安定させる手法の一つにレイヤー正規化があります。この手法がなぜレイヤー正規化と呼ばれるのか、名称の背景や処理の仕組みについて解説します。

レイヤー正規化の名称の由来

レイヤー正規化という名称は、ニューラルネットワークの同一の層（レイヤー）に含まれるすべての特徴量をまとめて正規化を行う仕組みに由来します。

ディープラーニングの構造は、情報を受け取って次の処理へ渡す層（レイヤー）が何段階も積み重なって成り立っています。各層には、入力された情報の特徴を数値化したユニットが多数並んでいます。

先行して開発されたバッチ正規化は、複数データの同じ特徴量を縦断して集計していました。これに対してレイヤー正規化は、1つのデータに着目し、そのデータが特定の層（レイヤー）において持っているすべての特徴量を取り出して、その横方向の並びの中で平均と分散を計算します。処理の単位がデータのまとまりではなく層（レイヤー）全体の特徴量であるため、レイヤー正規化（Layer Normalization）と命名されました。

学校の学力テストに例えると、学年全体の生徒が受けた数学の点数だけを集めて偏差値を割り出すのではなく、ある1人の生徒がその試験で受けた全科目（国語、数学、英語、理科、社会）の点数を取り出し、その生徒の科目間における平均点やばらつきを揃えて基準化する作業に似ています。

レイヤー正規化の計算手順

レイヤー正規化では、1つのデータに対して特定の層に存在する全特徴量を対象とし、以下の順序で数式処理を実行します。

ある層に含まれる特徴量の総数を H、各特徴量の数値を x と置いた場合、該当する層内の全特徴量の平均値を算出します。

$\mu = \frac{1}{H} \sum_{i=1}^{H} x_{i}$

続いて、算出した平均値を用いて同一層内の全特徴量の分散を求めます。

$\sigma^{2} = \frac{1}{H} \sum_{i=1}^{H} (x_{i} - \mu)^{2}$

求めた平均値と分散を使用し、各特徴量の数値を平均0、分散1の状態へ整えます。ゼロ除算を避ける目的で分母には微小な定数 epsilon を加算します。

$\hat{x}_{i} = \frac{x_{i} - \mu}{\sqrt{\sigma^{2} + \epsilon}}$

最後に、ネットワークが必要な表現力を失わないよう、学習によって最適化されるスケール係数 gamma とシフト係数 beta を適用して最終的な出力を得ます。

$y_{i} = \gamma \hat{x}_{i} + \beta$

レイヤー正規化のメリットとデメリット

レイヤー正規化をモデルに組み込んだ際に確認できる特徴は次の通りです。

メリット

バッチサイズに依存しない：計算が1つのデータ内部で完結するため、一度に処理するデータ数が1件であっても複数件であっても同じ計算結果が得られます。
系列データの処理に適している：自然言語処理のように入力される文章の長さがデータごとに異なる場合でも、各ステップの層単位で独立して統計量を計算できるため、安定した動作を示します。
学習と推論で同一の処理手順を保てる：バッチ正規化のように学習時の移動平均データを別途保持しておく必要がなく、推論時も学習時と全く同一の数式で出力を算出できます。

デメリット

画像認識タスクでは性能が出にくい場合がある：画像のチャンネルごとの固有の差異まで均一化してしまう傾向があり、畳み込みニューラルネットワーク（CNN）においてはバッチ正規化やグループ正規化に比べて精度が上がりにくい性質があります。
特徴量の次元数が小さい層では効果が薄れる：層に含まれるユニット数（次元数）が少ない場合、統計量としての平均や分散の精度が粗くなり、正規化による恩恵が小さくなります。

まとめ

レイヤー正規化は、名称が示す通り1つのデータが持つ特定の層（レイヤー）の全特徴量を束ねて正規化する手法です。データ同士の境界に依存しない性質から、言語モデルの中核を担うTransformerなどの構造で標準的な正規化手法として採用されています。

レイヤー正規化への理解を深めるための学習ステップは以下の通りです。

集計方向の違いを把握する：バッチ正規化がバッチ方向（縦）を集計するのに対し、レイヤー正規化が特徴量方向（横）を集計するという空間的な処理方向の違いを整理します。
適用分野の特性を確認する：なぜ画像処理にはバッチ正規化やグループ正規化が選ばれやすく、自然言語処理にはレイヤー正規化が選ばれるのか、データの形状と合わせて確認します。
代表的なモデル構造を調べる：Transformerの基本構成要素であるMulti-Head Attentionの前後において、レイヤー正規化がどの位置に挿入されているかを構造図から読み取ります。

セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。

投稿者プロフィール

山崎講師代表取締役

セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。