ベルマン方程式の名前の由来と動的計画法における再帰的関係式の仕組みを初心者向けに解説

2026年10月11日 2026年10月11日山崎講師

山崎講師

こんにちは。ゆうせいです。

強化学習や最適制御の分野では、将来にわたって得られる成果を最大化するための計算手法として動的計画法が用いられています。ゲームの自動操作やロボットの動作設計など、時間の経過に伴って変化する状況の中で最善の選択肢を見つけ出す際に、土台として活用されている基礎的な関係式がベルマン方程式です。今回は、ベルマン方程式という名称の由来や関係式の仕組み、実用上の長所と短所について解説します。

ベルマン方程式という名称の由来

ベルマン方程式という名称は、この方程式を提唱したアメリカの数学者リチャード・ベルマン（Richard Bellman）氏の名前に由来しています。

ベルマン氏は1950年代に、複雑な意思決定問題を段階的に分解して解く「動的計画法」という数学理論を確立しました。その理論の中核を成す関係式として発表されたことから、考案者の名前を冠してベルマン方程式と呼ばれるようになりました。

ゴールから逆算する登山計画の比喩で理解する

ベルマン方程式の基本的な考え方を理解するために、山頂を目指す登山ルートの計画を例に考えてみます。

登山口から頂上までの道筋を最初からすべて見通して最適なルートを選ぼうとすると、途中の分かれ道の組み合わせが膨大になり、どの道が総合的に優れているかを比較することは困難になります。

これに対してベルマン氏は、「最適なルートをたどっているならば、途中の休憩所から山頂までの残り区間もまた、その休憩所から出発する最善のルートになっていなければならない」という規則を提示しました。この考え方はベルマンの最適性の原理と呼ばれています。

この規則に基づくと、山頂直前の最後の分かれ道から順に1区間ずつ最適な道を選び、その結果をふもとに向かって順番に引き継ぎながら全体の最適ルートを導き出すことができます。複雑な長距離の計画を「直前の1区間」と「その先の合計評価」の組み合わせへと分割して扱う手法です。

ベルマン方程式の構造と数式表現

ベルマン方程式は、ある状態における価値を「その場で得られる即時の報酬」と「移動先の次の状態で得られる将来価値」の足し算として再帰的に定義します。

状態価値関数に関するベルマン方程式

現在の状態 s において方針 pi に従って行動を選択する場合の価値 V^{pi}(s) は、即時報酬の期待値と、将来の価値の割引現在価値の総和として次のように表されます。

方針 pi における状態価値関数のベルマン方程式

$V^{\pi}(s) = \sum_{a \in A} \pi(a \mid s) \sum_{s' \in S} P(s' \mid s, a) \left[ R(s, a, s') + \gamma V^{\pi}(s') \right]$

数式内の記号には以下の役割があります。

pi(a | s) は、状態 s において行動 a を選択する確率を示します。
P(s' | s, a) は、状態 s で行動 a を取ったときに次の状態 s' へ移り変わる確率を示します。
R(s, a, s') は、状態遷移の際に獲得できる即時報酬を示します。
gamma は割引率を示し、0以上1未満の範囲で設定されます。将来得られる報酬の価値を、現時点でどれくらい割り引いて評価するかを調整する数値です。
V^{pi}(s') は、移動先の次の状態 s' から得られる将来の価値を示します。

等式の左辺にある現在の状態の価値と、右辺の括弧内にある次の状態の価値が同じ関数 V^{pi} で結ばれており、自分自身の形式を再帰的に呼び出す構造になっています。

最適ベルマン方程式

あらゆる方針の中で最も高い価値を達成する最適状態価値関数 V^{*}(s) を求める場合、方程式は各状態で価値を最大にする行動を選択する形式へと書き換えられます。

最適状態価値関数のベルマン方程式

$V^{*}(s) = \max_{a \in A} \sum_{s' \in S} P(s' \mid s, a) \left[ R(s, a, s') + \gamma V^{*}(s') \right]$

この形式では、選択可能な行動の中から得られる価値の合計が最も大きくなる行動を選び取る操作が行われます。

ベルマン方程式のメリット

ベルマン方程式を採用することによって確認できる利点には、以下の項目が挙げられます。

多段階問題の局所化：無限に続く将来の報酬の総和を、現在の1ステップの即時報酬と次の状態の価値という2つの要素へ集約できるため、時間的な計算範囲を直近の遷移に限定できます。
最適解の収束保証：価値の更新を繰り返すことで、初期値に関係なく唯一の真の価値へ必ず収束することが数学的に証明されています。
アルゴリズム開発の共通基盤：方策反復法や価値反復法といった動的計画法をはじめ、Q学習やSARSAといった強化学習の更新式を導くための統一的な数学的基準を提供します。

ベルマン方程式のデメリット

一方で、ベルマン方程式をそのまま計算に適用する際には以下のような課題も存在します。

環境の遷移確率の事前把握：状態遷移確率 P や報酬関数 R の値があらかじめ数式として判明していない環境では、方程式を直接解いて解を導出することができません。
状態数の増加に伴う計算量の爆発：状態の数や行動の数が多くなると、方程式を解くための連立一次方程式の規模や反復計算の回数が膨大になり、メモリ容量と処理時間の両面で計算が破綻します。
非線形性による直接解法の困難さ：最大値選択を含む最適ベルマン方程式は非線形な関係式となるため、単純な逆行列の計算などで一括して解くことができず、逐次的な反復計算に頼る必要があります。

まとめと次の学習ステップ

ベルマン方程式は、動的計画法の創始者である数学者リチャード・ベルマン氏の名前に由来して命名されました。全体の最適な状態を部分の最適な状態の組み合わせとして捉える最適性の原理を具現化し、強化学習の価値計算を支える基盤として機能しています。

ベルマン方程式の理解を深めるための学習ステップは以下の通りです。

状態、行動、報酬の関係性を規定するマルコフ決定プロセスの基本構成を整理する。
割引率の数値を変えた際に、遠い未来の報酬の重み付けがどのように変化するかを数値例で確認する。
ベルマン方程式を反復的に適用して最適価値を求める動的計画法の価値反復法の手順を手計算で追跡する。
遷移確率が未知の環境において、ベルマン方程式の期待値計算を経験データで近似する時間差分学習（TD誤差）の算出方法を学ぶ。
行動価値を対象としたベルマン最適方程式から、Q学習の更新式が導出される数理的な展開を確認する。

再帰的な関係式の意味と最適性の原理を順序立てて整理しておくことで、高度な深層強化学習アルゴリズムの内部で行われている価値推定の数理的な背景も明確に読み解けるようになります。

セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。

投稿者プロフィール

山崎講師代表取締役

セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。