ゼロからわかる！RNNが学習を諦めてしまう勾配消失問題の正体とは？
山崎講師こんにちは。ゆうせいです。
ディープラーニングの世界へようこそ！皆さんは、AIが過去の情報を記憶しながら学習を進めるRNNという仕組みを聞いたことがありますか？時系列データや文章を扱うのが得意な、とても賢いモデルです。
しかし、このRNNには大きな弱点があります。それが、勾配消失問題です。
なぜ、せっかくのAIが途中で学習を投げ出してしまうのでしょうか？その理由を、一緒に紐解いていきましょう！
RNNが直面する大きな壁
RNNは、再帰型ニューラルネットワークと呼ばれます。以前のステップで得た情報を、まるでバトンを渡すように次のステップへと引き継いでいく構造が特徴です。
しかし、このバトンリレーが長くなればなるほど、ある深刻な問題が発生します。それが、過去の記憶を忘れてしまう現象です。
皆さんは、子供の頃に遊んだ伝言ゲームを覚えていますか？列が長くなればなるほど、最初の人の言葉はどんどん書き換わり、最後の人には何も伝わらなくなってしまいます。RNNの内部でも、これと同じことが起きているのです。
勾配消失問題とは何か？
専門用語が登場しましたね。勾配消失問題について解説します。
ニューラルネットワークが学習するとき、誤差逆伝播法という手法を使います。これは、出力の結果が悪かった原因を、ゴールからスタートに向かって遡りながら探していく作業です。
このとき、各層で計算される修正案のような数値を勾配と呼びます。勾配消失問題とは、この修正案が遡れば遡るほど、どんどん小さくなって消えてしまう現象を指します。
なぜ勾配が消えてしまうのか
RNNは、同じ重みを何度も繰り返し掛け合わせる構造をしています。ここが運命の分かれ道です。
例えば、シグモイド関数という活性化関数を考えてみましょう。この関数は、どんな入力値も 
このシグモイド関数を微分したときの最大値は、たったの 
逆伝播の際、この小さな値を何度も掛け算することになります。
もし、
計算式：
答えは、 
このように、連鎖律という微分を数珠つなぎにするルールのせいで、過去に遡るほど勾配は消え去ってしまうのです。
メリットとデメリットを知っておこう
勾配消失問題を理解するために、RNNという仕組み自体の特徴を整理してみましょう。
RNNのメリット
- 文脈を理解できる：前の言葉を受けて次の言葉を予測する能力があります。
- 可変長のデータに強い：動画や音声など、長さがバラバラな情報を扱えます。
勾配消失によるデメリット
- 長期記憶が苦手：少し前のことは覚えていても、ずっと前のことは忘れてしまいます。
- 学習が進まない：勾配が
勾配消失を乗り越えるための工夫
では、私たちは指をくわえて見ているだけなのでしょうか？いいえ、賢い先人たちが解決策を編み出しました。
その代表格が、LSTM（長短期記憶）です！
LSTMは、情報の通り道にゲートという仕組みを設けました。
- 忘却ゲート：不要な情報を捨てる
- 入力ゲート：新しい情報を書き込む
- 出力ゲート：必要な情報だけを次へ渡す
これにより、重要な情報は消さずに、遠い未来まで届けることが可能になったのです。
あなたもAIエンジニアの第一歩を
勾配消失問題の原因は、小さな値を何度も掛け算してしまう数学的な構造にありました。この壁を理解できたあなたは、もう初心者を卒業しています！
さて、次はどのようなステップで学習を進めるべきでしょうか？
まずは、今回紹介したLSTMが具体的にどのような計算式で動いているのかを調べてみてください。そして、実際にPythonなどのプログラミング言語を使って、短い文章を生成させてみるのが一番の近道です。
目に見える形でAIが動く感動を、ぜひ味わってみてくださいね！
セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
