計算グラフとは何か？仕組みと自動落差計算の基礎を初心者向けに解説
山崎講師こんにちは。ゆうせいです。
現代の深層学習（ディープラーニング）や機械学習の基盤を支える重要な技術の一つに「計算グラフ」があります。人工知能のプログラムを構築する際、数式をそのまま解くのではなく、グラフ構造を用いて処理を行う手法が広く採用されています。本記事では、計算グラフの基本的な仕組みと、実務や学習においてどのような利点や注意点が存在するのかを解説します。
計算グラフの基本概念
計算グラフとは、複数の数式や演算の手順をノード（節点）とエッジ（矢印の線）で表現した図式モデルを指します。
高校の授業で例えると、理科の実験手順を示したフローチャートのようなものです。「薬品Aと薬品Bを混ぜる（ノード）」作業があり、その結果得られた液体を「温める（次のノード）」といった作業工程を矢印で順序立ててつないだものに相当します。数学の数式で表すと複雑に見える合成関数も、一つひとつの小さな演算を箱として並べ、データの流れる方向を矢印でつなぐことによって、段階的に把握できるようになります。
データの順方向への伝播（順伝播）
計算グラフにおいて、入力値から開始して最終的な出力値（損失や予測値など）へ向かって計算を進める工程を「順伝播（フォワードプロパゲーション）」と呼びます。
ベルトコンベア式に部品が加工されて完成品になる流れをイメージしてください。原材料を入力すると、各作業工程（ノード）で足し算や掛け算が行われ、最終地点に製品（結果）が届きます。
逆方向への勾配の伝播（逆伝播）
出力側から入力側へと微分値（勾配）をさかのぼって伝達する処理を「誤差逆伝播法（バックプロパゲーション）」と呼びます。
完成品に不備や誤差が生じた際、どの工程がどれだけ影響を与えたかを逆順にさかのぼって検証する作業に似ています。連鎖律（チェインルール）と呼ばれる合成関数の微分の性質を利用し、出力側の変化量を入力側へと掛け合わせながら戻していくことで、各パラメータが結果に与える影響度を計算します。
例えば、出力 y に対する入力 x の微小な変化の度合いは、中間変数 u を介して次のような合成関数の微分として表されます。
計算グラフを用いると、この複雑な連鎖律の計算を各ノード局所の単純な微分計算の積み重ねに分割して処理できます。
計算グラフを利用する利点
計算グラフを導入することには、具体的な運用上の長所があります。
- 局所的な計算への分解：巨大で複雑な多変数関数であっても、各ノード内では単純な加算や乗算といった基礎的な計算規則のみを実装すれば処理が成立します。
- 導関数の自動化：誤差逆伝播法のアルゴリズムを機械的に適用できるため、人間が手作業で複雑な関数の偏微分方程式を解く必要がなくなります。
- 並列分散処理の容易さ：ノード間の依存関係がグラフの構造として明確化されているため、依存関係のない演算を複数のCPUやGPUへ同時に分散して実行させることが容易になります。
計算グラフを扱う際の注意点
一方で、計算グラフの設計や運用には配慮すべき点も存在します。
- メモリ消費量の増加：逆伝播で勾配を計算するためには、順伝播の途中で計算された中間結果（各ノードの出力値）を保持しておく必要があります。ネットワーク構造が深くなるにつれて消費メモリ量が比例して増大します。
- 構造設計による性能差：動的にグラフを構築する方式（実行時にグラフを生成する手法）と、静的にグラフを構築する方式（あらかじめ構造を決定してから実行する手法）の選定によって、デバッグの難易度や計算速度に差異が生じます。
問題1：2つの演算が連続する計算グラフ
まずは足し算と掛け算を組み合わせた基本的な構造です。
問題設定
3つの入力値 x = 2, y = 3, z = 4 があります。
中間ノードを a = x + y、最終出力を f = a * z とします。
- 順伝播によって出力 f の値を求めてください。
- 逆伝播によって、出力 f に対する各入力値 x, y, z の偏微分値を求めてください。
解答と解説
高校の理科実験に例えると、試験管Aの液体と試験管Bの液体を混ぜて新しい液体を作り、そこに別の薬品を投入して最終的な反応を起こす手順にあたります。
順伝播の計算は次の通りです。
- 中間変数 a の計算：2 + 3 = 5
- 最終出力 f の計算：5 * 4 = 20
逆伝播では、出力 f から入力へ向かって微分値をさかのぼります。最終出力に対する自身の微分値は 1 です。
- 乗算ノード f = a * z の逆伝播：掛け算の微分は相手の値をそのまま掛け合わせる規則となります。f に対する a の微分は z の値であるため 4 となります。f に対する z の微分は a の値であるため 5 となります。
- 加算ノード a = x + y の逆伝播：足し算の微分は上流から流れてきた値をそのまま等しく分配する規則となります。上流から届いた微分値 4 をそのまま分配します。f に対する x の微分は 4 となります。f に対する y の微分は 4 となります。
最終的な偏微分値は、x に関しては 4、y に関しては 4、z に関しては 5 と求まります。
問題2：同一変数が複数に分岐する計算グラフ
次に、1つの入力が複数の演算で同時に使われる分岐構造を扱います。
問題設定
2つの入力値 x = 3, y = 2 があります。
中間ノードを a = x * y, b = x + y とし、最終出力を f = a + b とします。
- 順伝播によって出力 f の値を求めてください。
- 逆伝播によって、入力 x に対する出力 f の偏微分値を求めてください。
解答と解説
分岐のある計算グラフは、1つの水源から引いた用水路が2手に分かれ、下流の池で再び合流する構造に似ています。下流で生じた変化の度合いを水源までさかのぼる場合、分かれた両方の水路から戻ってきた影響を合算する必要があります。
順伝播の計算は次の通りです。
- a の計算：3 * 2 = 6
- b の計算：3 + 2 = 5
- f の計算：6 + 5 = 11
逆伝播の計算は次の通りです。
- 加算ノード f = a + b の逆伝播：上流からの微分値 1 をそのまま a と b に送るため、f に対する a の微分は 1、f に対する b の微分も 1 です。
- 乗算ノード a = x * y の逆伝播：x への微分は、上流の値 1 に相手の値 y = 2 を掛けた 2 となります。
- 加算ノード b = x + y の逆伝播：x への微分は、上流の値 1 をそのまま通すため 1 となります。
- 分岐ノード x の合算：入力 x には、a 側を経由した経路と b 側を経由した経路の双方が合流します。分岐した経路の微分は足し算で結合される規則があるため、2 + 1 = 3 となります。
数式で表すと合成関数の偏微分における和の法則に一致します。
上式へ局所的な微分値を当てはめると、1 * 2 + 1 * 1 = 3 と算出されます。
問題3：活性化関数（シグモイド関数）の計算グラフ
ニューラルネットワークで頻繁に利用されるシグモイド関数の計算グラフを扱います。
問題設定
シグモイド関数は次の数式で定義されます。
入力 x = 0 のときを考えます。
- 順伝播を用いて出力値を求めてください。
- 逆伝播を用いて、x = 0 における微分値を求めてください。
解答と解説
シグモイド関数の内部は、符号の反転、指数関数の計算、1の加算、逆数の計算という4つの連続した小さな工程に分解できます。
順伝播の計算手順は次の通りです。
- 符号反転：-x = -0 = 0
- 指数計算：e の 0 乗は 1 です。
- 1の加算：1 + 1 = 2
- 逆数の計算：2 の逆数は 0.5 です。
したがって、順伝播の出力値は 0.5 となります。
逆伝播は各工程の微分規則を適用して掛け合わせます。
- 逆数ノード y = 1 / u の微分：微分係数は次の分数式で与えられます。
u = 2 であるため、微分の値は -0.25 となります。
- 加算ノード y = 1 + v の微分：定数の加算であるため微分係数は 1 です。上流の値 -0.25 に 1 を掛けて -0.25 のままです。
- 指数ノード y = e の w 乗 の微分：指数関数の微分は元の値と同じです。w = 0 のとき値は 1 となるため、上流の値 -0.25 に 1 を掛けて -0.25 です。
- 符号反転ノード y = -x の微分：微分係数は -1 です。上流の値 -0.25 に -1 を掛けると 0.25 になります。
結果として、入力 x = 0 における微分値は 0.25 と求まります。シグモイド関数の微分公式である y * (1 - y) に出力値 0.5 を代入した結果（0.5 * 0.5 = 0.25）とも一致することが確認できます。
まとめと次の学習ステップ
計算グラフは、複雑な計算手順を有向グラフとして分割し、順伝播による値の算出と、逆伝播による微分の効率化を両立させるための概念です。
今後の理解を深めるための学習ステップは次の通りです。
- 基礎的な代数計算（y = ax + b や y = (x + y) * z など）を手作業でノードと矢印に分解し、順方向の数値を記入してみます。
- 合成関数の微分の基礎である連鎖律を復習し、各ノードの局所的な微分を逆方向に掛け合わせる手計算を試みます。
- PyTorchやTensorFlowなどの機械学習ライブラリで、どのように自動微分が実行されているのか、実際のコードを記述して確認します。
以上の順序で学習を進めることで、現代の機械学習基盤の動作原理を着実に習得できます。
セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
