E資格対策・強化学習の重要数式の覚え方（2）状態価値関数を語呂合わせと計算例で確実に覚える

2026年10月31日 2026年10月31日山崎講師

山崎講師

こんにちは。ゆうせいです。

E資格の強化学習で出題される重要数式を、1つずつ覚えていくシリーズの第2回です。

第1回では、将来の報酬を割り引いて合計した「割引収益」を学びました。今回取り上げる「状態価値関数」は、その割引収益の平均を表す式です。前回の内容がそのまま式の中に登場するので、割引収益の式を思い出しながら読み進めてください。

状態価値関数は、次回以降に学ぶ行動価値関数、ベルマン方程式、TD学習、Actor-Criticの土台になります。E資格では、記号の意味や、行動価値関数との違いを問う問題としてよく登場します。

この記事のゴール

状態価値関数の式を、何も見ずに書けるようになる
割引収益と状態価値関数の違いを説明できるようになる
右肩の π（パイ）が付いている理由を説明できるようになる
簡単な例で状態価値を手計算できるようになる

第1回の復習

最初に、前回の割引収益の式を確認します。

$G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \cdots$

覚え方は次の3つでした。

γ は「我慢」。大きいほど将来の報酬を重視する
報酬は一歩遅れてやってくるため、最初の項は $R_{t+1}$
再帰形は「じいさんは、ある我慢じいさん」

状態価値関数の式

今回覚える式は次のとおりです。

$V^{\pi}(s) = \mathbb{E}_{\pi}[G_t \mid S_t = s]$

記号の意味は次のとおりです。

記号	読み方	意味
V	ブイ	価値（Value）。状態の「良さ」を表す数値
π	パイ	方策（Policy）。どの状態でどの行動を選ぶかのルール
s	エス	状態（State）。小文字は具体的な1つの状態を表す
$\mathbb{E}_{\pi}$	イー・パイ	方策 π に従って行動したときの期待値（平均）
$G_t$	ジー・ティー	第1回で学んだ割引収益
縦棒｜	ギブン	縦棒の右側の条件のもとで、という意味
$S_t = s$	エス・ティーイコールエス	時刻 t の状態が s である

式全体を日本語にすると、次のようになります。

「状態 s からスタートして、方策 π に従って行動し続けたときに得られる割引収益の平均」

式の意味：その状態は平均するとどれくらい良いか

状態価値関数は、「ある状態にいることが、平均するとどれくらい得なのか」を表す数値です。

将棋で考えてみます。対局の途中の盤面を見て、「この局面は先手がやや有利」と判断することがあります。この「局面の有利さ」が状態価値に当たります。

状態 s：盤面（局面）
方策 π：自分の指し方のくせ、戦い方
割引収益 G：その局面から最後まで指したときに得られる結果
状態価値 V：その局面から何度も指したと仮定したときの、結果の平均

同じ局面から指しても、毎回同じ結果になるとは限りません。そのため、1回の結果ではなく「平均」で局面の良さを表します。

なぜ平均（期待値）を取るのか

同じ状態から始めても、得られる割引収益は毎回変わります。その原因は2つあります。

方策のばらつき：方策は「左に70%、右に30%」のように、確率で行動を選ぶことがある
環境のばらつき：同じ行動をしても、次にどの状態に移るかや、もらえる報酬が確率的に変わることがある

割引収益 G は、1回やってみたときの結果にすぎません。そのため、状態の良さを1つの数値で表すには、多くの回数の結果を平均する必要があります。

覚え方は「G は1回のテストの点数、V は平均点」です。

1回のテストの点数は、その日の調子や問題との相性で上下します。一方、平均点を見れば、その人の実力を安定して評価できます。状態価値関数も同じ考え方です。

練習問題1

割引収益 $G_t$ と状態価値関数 $V^{\pi}(s)$ の関係として、最も適切なものを選んでください。

ア：V は、状態 s から始めたときの G の期待値である
イ：V は、状態 s で得られる直後の報酬だけの値である
ウ：G は、多くのエピソードで得た V の平均値である
エ：V と G は、常に同じ値になる同一の量である

練習問題1の解答と解説

正解はアです。

状態価値関数は、状態 s から方策 π に従ったときの割引収益 G の期待値（平均）として定義されます。

イは誤りです。直後の報酬だけでなく、将来の報酬を割り引いて合計した G の平均です。
ウは誤りです。関係が逆になっています。平均を取られるのは G の方です。
エは誤りです。方策や環境に確率的なばらつきがある場合、1回ごとの G は平均の V と一致するとは限りません。

語呂合わせで覚える

式を部品に分けて、それぞれ語呂合わせで覚えます。

語呂合わせ1：価値（V）はパイ次第

式の左側は $V^{\pi}(s)$ です。V の右肩に π が付いています。

同じ盤面でも、強い人が指すか、初心者が指すかで、その局面から得られる結果は変わります。つまり、状態の価値は「どの方策で行動するか」によって決まります。右肩の π は、「この価値は方策 π を使った場合の価値です」という印です。

覚え方は「価値（V）はパイ次第」です。

パイの分け方次第で取り分が変わる、という場面を思い浮かべると忘れにくくなります。

試験では、方策を変えると価値も変わることを問う問題が出ます。「V の右肩には必ず π」と覚えておきましょう。

語呂合わせ2：イーパイで、ジーを平均

式の右側は $\mathbb{E}_{\pi}[G_t \mid S_t = s]$ です。

E は期待値（Expectation）、つまり平均を表します
E の右下に π が付いているのは、「方策 π に従って行動したときの平均」という意味です
かっこの中にあるのは、第1回で学んだ割引収益 G です

覚え方は「イーパイで、ジーを平均」です。

左側の V の右肩にも π、右側の E の右下にも π が付きます。「π は左右の両方に1つずつ」と確認すると、書き忘れを防げます。

語呂合わせ3：縦棒の右はスタート地点

縦棒の右側には、 $S_t = s$ という条件が書かれています。

これは「時刻 t の状態が s である」、つまり「状態 s からスタートする」という意味です。

覚え方は「縦棒の右はスタート地点」です。

左辺の (s) と、縦棒の右の s が同じ文字であることも確認しておきましょう。左辺で「どの状態の価値か」を指定し、右辺でその状態をスタート地点として平均を取る、という対応になっています。

語呂合わせのまとめ

3つの語呂合わせをつなげると、次のようになります。

「価値（V）はパイ次第、イーパイでジーを平均、縦棒の右はスタート地点」

この順番で唱えながら、左から右へ式を書いていくと、式全体を再現できます。

練習問題2

状態価値関数の式として正しいものを選んでください。

ア： $V^{\pi}(s) = \mathbb{E}_{\pi}[R_t \mid S_t = s]$
イ： $V^{\pi}(s) = \mathbb{E}_{\pi}[S_t \mid G_t = s]$
ウ： $V^{\pi}(s) = \mathbb{E}_{\pi}[G_t \mid S_t = s]$
エ： $V^{\pi}(s) = \mathbb{E}_{\pi}[G_t \mid A_t = s]$

練習問題2の解答と解説

正解はウです。

かっこの中は割引収益 G、縦棒の右は「時刻 t の状態が s」という条件です。

アは誤りです。かっこの中が1回分の報酬 R になっており、将来の報酬の合計になっていません。
イは誤りです。G と S の位置が入れ替わっています。平均を取るのは G で、条件になるのは状態 S です。
エは誤りです。条件が行動 A になっています。状態価値関数の条件は状態 S です。行動を条件に加えるのは、次回学ぶ行動価値関数です。

計算例で確かめる

式の意味を、数値を使って確かめます。

計算例1：方策のばらつきがある場合

状態 s から、次の2つの行動のどちらかを選ぶとします。

左に進む：その後に得られる割引収益は 10
右に進む：その後に得られる割引収益は 2

方策 π は「左に 0.5、右に 0.5 の確率で進む」とします。

状態価値は、割引収益の平均なので、次のように計算します。

$V^{\pi}(s) = 0.5 \times 10 + 0.5 \times 2 = 5 + 1 = 6$

1回ごとの割引収益は 10 か 2 のどちらかですが、状態価値は平均の 6 になります。6 という値が実際に出ることはありません。それでも、状態の良さを表す数値としては 6 が使われます。

計算例2：方策を変えると価値が変わる

計算例1と同じ状態で、方策を変えてみます。

方策	左の確率	右の確率	状態価値
方策A	0.5	0.5	0.5 × 10 + 0.5 × 2 = 6
方策B	0.9	0.1	0.9 × 10 + 0.1 × 2 = 9.2
方策C	0.1	0.9	0.1 × 10 + 0.9 × 2 = 2.8

同じ状態 s なのに、方策によって状態価値は 2.8 から 9.2 まで変わります。語呂合わせ1の「価値（V）はパイ次第」のとおりです。

強化学習の目的は、状態価値ができるだけ大きくなる方策を見つけることです。この例では、左を選ぶ確率を高くした方策Bの方が、状態価値が大きくなっています。

練習問題3

状態 s から、行動Aを選ぶとその後の割引収益が 8、行動Bを選ぶと割引収益が 4 になるとします。方策 π が行動Aを 0.25、行動Bを 0.75 の確率で選ぶとき、状態価値 $V^{\pi}(s)$ の値を選んでください。

ア：6
イ：7
ウ：12
エ：5

練習問題3の解答と解説

正解はエです。

$V^{\pi}(s) = 0.25 \times 8 + 0.75 \times 4 = 2 + 3 = 5$

アの6は、確率を考えずに 8 と 4 を単純に平均した値です。
イの7は、確率を逆にして 0.75 × 8 + 0.25 × 4 と計算した値です。
ウの12は、確率を掛けずに 8 + 4 を足した値です。

計算例3：環境のばらつきもある場合

状態 s で行動を1つしか選べないとします。ただし、環境のばらつきにより、次のように結果が変わるとします。

確率 0.8 で状態 x に移り、報酬 1 をもらう。状態 x の価値は 10
確率 0.2 で状態 y に移り、報酬 0 をもらう。状態 y の価値は 0

割引率は γ = 0.9 とします。

第1回の再帰形 $G_t = R_{t+1} + \gamma G_{t+1}$ を使うと、それぞれの場合の収益の見込みは次のようになります。

状態 x に移る場合：1 + 0.9 × 10 = 10
状態 y に移る場合：0 + 0.9 × 0 = 0

これを確率で平均します。

$V^{\pi}(s) = 0.8 \times 10 + 0.2 \times 0 = 8$

「すぐ次の報酬 + γ × 次の状態の価値」を、起こりうる場合ごとに計算して平均しています。実はこの計算の仕方が、第4回で学ぶベルマン方程式そのものです。今の段階では、「状態価値は、起こりうる結果の平均で求める」と理解しておけば十分です。

計算例4：実際の経験から状態価値を推定する

ここまでの例では、確率がすべて分かっていました。しかし、現実の問題では確率が分からないことがほとんどです。

その場合は、状態 s から実際に何度も行動してみて、得られた割引収益を平均します。

たとえば、状態 s から3回試して、割引収益が 8、6、10 だったとします。

推定値は (8 + 6 + 10) ÷ 3 = 8 です。

試す回数を増やすほど、推定値は本当の状態価値に近づいていきます。この「実際の収益を平均して価値を推定する方法」をモンテカルロ法と呼びます。

練習問題4

状態 s から5回試したところ、割引収益が 4、7、5、9、10 でした。モンテカルロ法による状態価値の推定値を求めてください。

練習問題4の解答と解説

答えは7です。

(4 + 7 + 5 + 9 + 10) ÷ 5 = 35 ÷ 5 = 7

5回の結果はばらばらですが、平均を取ることで、状態 s の良さを1つの数値で表せます。

初学者がつまずきやすい点

つまずきやすい点	正しい理解
G と V を同じものと考えてしまう	G は1回の結果、V はその平均。G は1回のテストの点数、V は平均点
V の右肩の π を書き忘れる	価値は方策によって変わるため、π は必須。価値（V）はパイ次第
E の右下の π を書き忘れる	方策 π に従って行動したときの平均であることを示す
かっこの中に R を書いてしまう	かっこの中は割引収益 G。1回の報酬 R ではない
縦棒の右に行動 A を書いてしまう	状態価値関数の条件は状態 S だけ。行動も条件にするのは行動価値関数
小文字の s と大文字の S を区別しない	大文字 S は確率的に変わる状態、小文字 s は具体的な1つの状態

最後の大文字と小文字の違いは、少し難しく感じるかもしれません。「大文字は箱、小文字は箱に入る中身」と考えてください。 $S_t = s$ は「時刻 t の状態という箱に、具体的な状態 s が入っている」という意味になります。

白紙に書いて確認しよう

記事を読み終えたら、何も見ずに次の4つを紙に書いてみてください。

状態価値関数の式
割引収益と状態価値関数の違い（一言で）
計算例1の状態価値（左 0.5 で収益 10、右 0.5 で収益 2）
最適状態価値関数の式

あわせて、第1回の割引収益の式も書けるか確認しておきましょう。2つの式がつながっていることが実感できれば、第2回の内容は合格です。

まとめ

状態価値関数は、状態 s から方策 π に従ったときの割引収益の期待値（平均）です
G は1回のテストの点数、V は平均点です
価値（V）はパイ次第。方策が変わると、同じ状態でも価値が変わります
式は「価値（V）はパイ次第、イーパイでジーを平均、縦棒の右はスタート地点」の順に書きます
確率が分からない場合は、実際の割引収益を平均して推定します（モンテカルロ法）
最適状態価値関数は、右肩の π が * に変わります。星が付いたら一番星です

次回は、状態だけでなく「最初に選ぶ行動」も条件に加えた「行動価値関数」を取り上げます。今回の式の縦棒の右側に、行動の条件が1つ増えるだけです。状態価値関数の式を白紙に書ける状態にしてから読み進めてください。

セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。

投稿者プロフィール

山崎講師代表取締役

セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。