なぜ勾配クリッピングが必要なのかを解説する

2026年8月5日 2026年8月5日山崎講師

山崎講師

こんにちは。ゆうせいです。

ディープラーニングの実装を学ぶ際、「勾配クリッピング」という技術が登場します。訓練過程で計算された勾配の値を制限する手法です。しかし、なぜこのような処理が必要なのか、どのような問題を解決しているのかについて、明確に説明されることは意外と少ないのです。本記事では、勾配クリッピングが生まれた背景にある「勾配爆発」という現象から、その対処法までを、具体例を交えて解説します。

勾配爆発とは

勾配爆発（gradient explosion）とは、ニューラルネットワークの訓練過程で、勾配（偏微分）の値が指数関数的に大きくなってしまう現象です。

訓練を進める際、重みの更新式は以下の通りです。

w ← w - η ∂E/∂w

η は学習率、∂E/∂w は損失関数の勾配です。通常の場合、勾配は-1から1の間などの適度な大きさです。しかし、特定の状況では、勾配の絶対値が数千、数万、さらには数百万というように膨張することがあります。

すると、w が極端に大きな値に変わってしまい、次のステップの計算が不安定になります。最悪の場合、勾配が無限大（∞）やNaN（Not a Number、計算不可能な値）になり、訓練が完全に停止してしまうのです。

なぜ勾配爆発は起きるのか

勾配爆発の原因は、誤差逆伝播法における「連鎖律」の繰り返し適用にあります。

誤差逆伝播法では、出力層から入力層に向かって、各層の勾配を計算していきます。層の数が多いとき、勾配は複数の微分の積として伝播します。

具体例を示します。5層のニューラルネットワークで、各層の重みによる出力への影響を調べる場合、以下のような連鎖律が現れます。

∂E/∂w_1 = (∂E/∂y) × (∂y/∂a_5) × (∂a_5/∂a_4) × (∂a_4/∂a_3) × (∂a_3/∂a_2) × (∂a_2/∂a_1) × (∂a_1/∂w_1)

ここで、a_i は各層の活性化関数への入力を表します。

各因子 (∂a_{i}/∂a_{i-1}) が1.5だったとしましょう。すると、それらの積は 1.5^5 = 7.59 になります。層が100層あれば、1.5^100 は天文学的な大きさになってしまいます。

RNNで勾配爆発が特に起きやすい理由

勾配爆発は、特に再帰型ニューラルネットワーク（RNN）で顕著に現れます。

RNNでは、同じ重み行列が、時系列の各タイムステップで繰り返し使われます。

時刻tの隠れ層の状態 h_t は、以下のように計算されます。

h_t = tanh(W_h × h_{t-1} + W_x × x_t + b)

過去のタイムステップの情報を伝播させるため、h_t は h_{t-1} を通じて計算されています。

時刻t = 100の勾配を計算するとき、連鎖律により、100個分の (∂h_t / ∂h_{t-1}) が乗算されます。

∂E/∂W_h ∝ Π_{t=1}^{100} (∂h_t / ∂h_{t-1})

このような行列の累積積は、固有値が1より大きければ指数関数的に増幅され、固有値が1より小さければ消失（勾配消失）につながります。

具体的な数値例

勾配爆発がどの程度深刻かを、簡単な数値例で見てみましょう。

単純な1層のネットワークで、重み w = 2.0、入力 x = 1.0、出力誤差の勾配（逆伝播の始まり）が ∂E/∂y = 1.0 だったとします。

活性化関数がReLU（微分は x > 0 で1）なら、

∂E/∂w = ∂E/∂y × ∂y/∂w = 1.0 × 1.0 = 1.0

となり、適度な大きさです。

ところが、100層のネットワークで、各層の重みが 1.5 に近い値で、活性化関数の微分がすべて1に近い場合、

∂E/∂w ≈ 1.0 × 1.5^99 ≈ 10^17

という莫大な勾配になってしまいます。

学習率を η = 0.01 とすれば、重みの更新量は、

Δw = -0.01 × 10^17 = -10^15

という非現実的な値になり、重みは数ステップで無限大に発散します。

勾配爆発による問題

勾配爆発が起きると、以下のような悪影響が生じます。

重みが急激に大きく変わり、それまでの訓練の成果が失われます。前のステップで学んだパターンが、一気に上書きされてしまう感覚です。

勾配が非常に大きくなると、浮動小数点数の表現の上限を超え、無限大（inf）やNaN になります。その後の計算はすべて無意味になります。

訓練が不安定になり、損失が増加したり、完全に発散したりします。結果として、モデルが正しく学習できません。

勾配クリッピングとは

勾配クリッピング（gradient clipping）は、勾配の大きさが閾値（threshold）を超えないように制限する手法です。

最も一般的なのは「L2ノルムクリッピング」です。

勾配ベクトル g = [∂E/∂w_1, ∂E/∂w_2, ..., ∂E/∂w_n] のL2ノルム（大きさ）を計算します。

L2ノルム：||g|| = √(Σ(∂E/∂w_i)^2)

もし ||g|| が閾値 clip_value を超えていたら、すべての勾配成分を一定の比率で縮小します。

g_clipped = g × (clip_value / ||g||)

つまり、勾配の方向は変えず、大きさだけを制限するのです。

例えば、||g|| = 1000 で clip_value = 1 なら、

g_clipped = g × (1 / 1000) = g / 1000

となり、勾配は1000分の1に縮小されます。

クリッピングの効果を数値で見る

先ほどの例に戻ります。

クリッピングなし：∂E/∂w = 10^17、重みの更新量 Δw = -0.01 × 10^17 = -10^15（発散）。

クリッピングあり（clip_value = 1）：∂E/∂w = 10^17 を clip_value = 1 に制限すると、実際の勾配は 10^17 × (1 / 10^17) = 1 になります。重みの更新量は、Δw = -0.01 × 1 = -0.01（安定）。

劇的な改善です。クリッピングにより、訓練が安定した速度で進むようになります。

他の対策との違い

勾配爆発に対する対策は複数あります。

勾配クリッピングは、その場で勾配を制限する「事後対応」です。計算された勾配が大きければ、訓練ステップの直前に縮小します。

一方、勾配爆発を根本的に防ぐ方法として、「重み正則化」や「バッチ正規化」があります。これらは、訓練の過程全体を調整することで、勾配が爆発しないようにしようとします。

また、活性化関数の選択も重要です。シグモイド関数やtanh関数は勾配消失を引き起こしやすく、ReLU関数は勾配爆発を招きやすいという傾向があります。

さらに、「層正規化（Layer Normalization）」や「LSTM（Long Short-Term Memory）」のような特殊な構造も、勾配の安定化に貢献します。LSTMでは、勾配が長い時系列を通じて伝播しにくい（勾配消失を軽減できる）設計になっています。

しかし、これらの根本的な対策だけでは不十分な場合があり、最後の「安全弁」として勾配クリッピングを併用することが実務では標準的です。

実装上のポイント

勾配クリッピングを実装する際のポイントをいくつか述べます。

クリップ値の設定：clip_value = 1.0 が一般的なデフォルト値ですが、モデルやデータセットによって最適値は異なります。訓練ログで勾配の大きさをモニタリングして、調整することが推奨されます。

クリッピング方式：L2ノルムの他に、「値クリッピング」（各勾配成分を [-clip_value, clip_value] の範囲に制限）や「グローバルノルムクリッピング」（すべての勾配の全体的な大きさを制限）もあります。

計算タイミング：クリッピングは、勾配を計算した直後、重みを更新する直前に行うのが標準的です。

PyTorchでの実装例を示すと、torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) という一行で実現できます。

勾配消失との関係

勾配爆発と対比される現象として、「勾配消失」があります。

勾配消失は、勾配がほぼ0に近くなり、訓練が進まなくなる問題です。深いネットワークや、シグモイド関数を多用した場合に起きやすいのです。

勾配消失に対して、勾配クリッピングは直接的な対策にはなりません。勾配消失には、別の手法（ReLU関数の使用、残差接続、LSTMなど）が必要です。

実務では、勾配爆発と勾配消失の両方に目配りしながら、モデルを設計・訓練することになります。

まとめ

勾配クリッピングが必要な理由は、ニューラルネットワークの訓練過程で勾配爆発という現象が起きるからです。

特にRNNのような深いネットワークや長い時系列を扱う場合、誤差逆伝播の連鎖律により、勾配が指数関数的に増幅され、数値計算が不安定になります。

勾配クリッピングは、計算された勾配の大きさを閾値以下に制限することで、この不安定性を抑える「安全弁」の役割を果たします。勾配の方向は保ちながら、大きさだけを制限するため、訓練の方向性は失われません。

根本的な対策（バッチ正規化、特殊なネットワーク構造など）と組み合わせることで、安定した訓練が実現できます。

次のステップとして、実装でclip_grad_norm_やclip_grad_value_などの関数を実際に使ってみたり、訓練ログで勾配の大きさの推移をプロットして、クリッピングの効果を目に見える形で確認したりすることをお勧めします。その実験を通じて、なぜ勾配クリッピングが実務で重視されているのか、より深く理解できるようになるでしょう。

投稿者プロフィール

山崎講師代表取締役

セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。