初心者でもわかる！計算グラフで紐解く逆伝播の仕組みと計算のルール
山崎講師こんにちは。ゆうせいです。
みなさんは、AIがどうやって学習しているのか不思議に思ったことはありませんか。
AIが賢くなる舞台裏では、実は算数のような計算が猛烈な勢いで繰り返されています。
今回は、その核心部分である逆伝播（バックプロパガエーション）について、研修講師として皆さんに分かりやすくお伝えします。
計算グラフは情報の地図
まずは、計算のプロセスを視覚化した計算グラフという考え方を知ることから始めましょう。
計算グラフとは、計算の過程をノードと呼ばれる節点と、矢印で結んだ図のことです。
例えば、100円のリンゴを2個買って、消費税が10パーセントかかる場合を想像してください。
- リンゴの価格 100円
- 個数 2個
- 消費税 1.1倍
これを順番に計算していくのが順伝播です。
答えは 220円 になりますね。
ここまでは、皆さんが普段行っている計算と同じです。
逆伝播（バックプロパガエーション）ってなに？
では、逆伝播とは何でしょうか。
一言で言えば、結果から原因をさかのぼる作業です。
AIの学習において、最終的な目的は、出力された答えと正解との誤差をゼロにすることにあります。
誤差が出たとき、どの数値（重みや入力）をどれくらい調整すれば、結果がどれだけ変わるのかを知る必要があります。
この影響度を調べるのが逆伝播の役割です。
微分という魔法の物差し
ここで重要になる専門用語が微分（びぶん）です。
微分と聞くと難しく感じるかもしれませんが、要するに、ある値を少し変化させたときに、全体のエネルギーがどれだけ変化するかという感度を測る物差しだと考えてください。
例えば、アクセルを 1cm 踏んだときに、車のスピードが 
逆伝播では、この感度を後ろから前へと伝言ゲームのように伝えていきます。
具体的な数字で逆伝播をシミュレーションしよう
それでは、実際にかける算の逆伝播を計算してみましょう。
以下の条件を考えます。
- 入力A：
- 入力B：
- 計算：
このとき、最終的な出力に対する影響度を後ろから伝えていきます。
最後に出力された値の感度を 
かけ算の逆伝播ルール
かけ算の逆伝播には、ひっくり返すという面白いルールがあります。
相手の値を掛けるだけなのです。
- 入力Aへの逆伝播：
- 入力Bへの逆伝播：
これは何を意味しているのでしょうか。
入力Aを 1 増やすと、最終結果は 5 増えるという意味です。
逆に入力Bを 1 増やすと、最終結果は 10 増えます。
このように、後ろから伝わってきた値に、相手の数字を掛け合わせることで、それぞれの影響度を算出できるのです。
逆伝播を学ぶメリットとデメリット
この仕組みを知ることで、どのような視点が手に入るのでしょうか。
メリット
- 効率的な学習：すべての数値を闇雲に入れ替えるのではなく、影響度が大きい場所を特定して効率よく修正できます。
- 複雑な計算への対応：どんなに複雑な計算式でも、小さな計算の積み重ねとして分解すれば、機械的に微分を求めることが可能です。
デメリット
- 勾配消失問題：計算の層が深くなりすぎると、伝言ゲームの途中で値がどんどん小さくなり、最初の方まで影響度が届かなくなることがあります。
- 計算リソース：非常に大規模なネットワークでは、これらの数値をすべて保持してさかのぼるために、膨大なメモリが必要になります。
仕組みを理解したその先へ
逆伝播の仕組み、なんとなくイメージを掴んでいただけたでしょうか。
AIは決して魔法で動いているわけではなく、こうした地道な数値のフィードバックを繰り返して、正解へと近づいているのです。
もしあなたがもっと深く学びたいと感じたら、次は連鎖律（チェーンルール）というキーワードを調べてみてください。
これは、複数の計算が繋がっているときに、微分の値を掛け算で繋いでいくルールです。
今日学んだかけ算の逆伝播は、その巨大な鎖のたった一環に過ぎません。
しかし、この一環を理解することが、最先端のディープラーニングを理解するための確かな一歩となります。
焦らず、一つひとつの計算を自分の手で追いかけてみてください！
セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。
投稿者プロフィール
