方策オンと方策オフの名前の由来と強化学習における行動選択の仕組みを初心者向けに解説
山崎講師こんにちは。ゆうせいです。
人工知能や機械学習の領域では、コンピュータが試行錯誤を繰り返しながら望ましい行動を自律的に習得する強化学習という手法が活用されています。ゲームの対局やロボットの動作制御など、将来得られる報酬の合計を増やすために行動の指針を調整していく技術です。この学習を進める際、行動の選び方と学習の進め方の関係性を分類する重要な概念として、方策オングラウンドと方策オフという区分が存在します。今回は、方策オンと方策オフという名称の由来や仕組みの違い、実用上の長所と短所について解説します。
方策オンと方策オフという名称の由来
方策オンと方策オフは、英語の on-policy（オンポリシー）と off-policy（オフポリシー）を日本語へ翻訳した用語です。
この名称を理解するために、基本となる方策という単語と、前置詞の on および off が持つ意味を確認します。
方策（Policy）の意味
強化学習における方策とは、ある状況に直面した際に、どのような行動を選択するかを定めたルールの集まりを指します。状況を入力とし、選択すべき行動やその確率を出力する対応関係のことです。
on と off の対比
英語の on には「〜の上に密着している」「〜に沿っている」という意味合いがあります。一方で off には「〜から離れている」「〜から外れている」という意味合いがあります。
強化学習の中には、実際に環境の中で動いて経験を集めるための挙動方策と、将来の価値を計算して改善の対象とする目標方策という2つの方針が存在します。
- 方策オン（on-policy）：実際にデータを集めている行動方針そのものに沿って（乗っかって）、その方針自身の価値を評価・改善していく手法です。
- 方策オフ（off-policy）：実際にデータを集めている行動方針から離れて、それとは異なる別の方針（通常は理論上最も優れた方針）の価値を評価・改善していく手法です。
データ収集を行う方針と、評価・学習の対象とする方針が一致しているか、あるいは分離しているかという関係性に由来して、それぞれ方策オン、方策オフと命名されました。
運転の練習方法を例にした比喩
この2つの違いを把握するために、自動車の運転練習を例に考えてみます。
方策オンは、初心者のドライバーが自分でハンドルを握り、自分の運転技術や癖に基づいて車を走らせながら、その運転内容を振り返って上達を目指す練習方法に相当します。たまにハンドル操作を誤って蛇行するような未熟さも含めて、現在の自分の行動方針をそのまま評価し、徐々に安全な運転へと近づけていきます。
これに対して方策オフは、初心者が多少の蛇行運転を交えながら走る一方で、助手席に座る教習所の指導員が「プロの教官であればこの道路状況でどう判断するか」という理想の走行計画を記録していく方法に相当します。実際の動きは探り探りの運転であっても、頭の中で組み立てる評価基準は常に理想的なお手本の走行方針に基づいています。
行動価値の更新式に見る数学的な違い
方策オンの代表例であるSARSAと、方策オフの代表例であるQ学習の更新式を比較すると、数式上の相違点が明確になります。
方策オン（SARSA）の更新式
方策オンでは、現在の状態 s で行動 a を行い、報酬 r を得て次の状態 s' へ移動した際、現在の方策に従って実際に選ばれた次の行動 a' の価値を用いて計算します。
SARSAにおける価値更新式
式中の Q(s', a') は、現在の方策が次のステップで現実に選択した行動 a' の評価値です。方針と行動が完全に一致した状態で更新が進みます。
方策オフ（Q学習）の更新式
方策オフでは、次の状態 s' で実際にどの行動を取る予定であるかに関わらず、選択肢の中で最大の評価値をもたらす行動の価値を常に参照します。
Q学習における価値更新式
式中の最大値計算を行う項は、次の状態 s' において最善の行動を選択するという理想的な方針を想定しています。実際の挙動と計算上の基準が切り離されている点が特徴です。
方策オンのメリットとデメリット
方策オンという枠組みには、以下のような特徴が確認されています。
方策オンのメリット
- 安全性の高い行動の獲得：試行錯誤の過程で危険な行動を選ぶリスクも含めて価値を算出するため、崖の近くを通らないような慎重で安全な経路を学習しやすい傾向があります。
- 理論的な安定性：データを集める方針と評価する方針が同一であるため、ニューラルネットワークを用いた関数近似を導入した際にも、計算結果が極端に発散しにくい性質を持ちます。
方策オンのデメリット
- 過去のデータの再利用が困難：方策が少しでも更新されると、以前の方策に基づいて収集した過去の経験データが使えなくなり、常に新しい方針のもとでデータを集め直す必要があります。
- 最短経路への到達の遅さ：探索のために選ぶ失敗の可能性を警戒して安全寄りの判断を下すため、理想的な限界性能に到達するまでの試行回数が多くなる場合があります。
方策オフのメリットとデメリット
方策オフという枠組みには、以下のような特徴が確認されています。
方策オフのメリット
- 過去データの再利用が可能：どのような方針によって集められたデータであっても学習の材料として活用できるため、過去の試行履歴（経験再生）や人間の操作記録を用いた学習が行えます。
- 最適な行動方針の直接学習：探索のためにランダムな行動を混ぜて実行している最中でも、理論上の最善手を目指した価値の更新を直接進めることができます。
方策オフのデメリット
- 学習の不安定化：データ収集方針と学習対象方針の乖離、関数近似、価値の逐次更新という条件が重なると、価値の推定値が無限大へ発散しやすい数学的な課題が存在します。
- 危険領域への進入リスク：探索中に生じる失敗のリスクを計算から除外して最善手のみを評価するため、崖っぷちの最短ルートを選ぶなど、学習途中の実機運用において危険を伴う行動を取りやすくなります。
まとめ
方策オンと方策オフという名称は、データを集める行動方針に沿って学習する状態（on）と、その行動方針から離れた別の理想方針を学習する状態（off）の違いに由来しています。両者は安全性やデータの利用効率において異なる性質を持ち、目的に応じて使い分けられています。
強化学習の理解を深めるための学習ステップは以下の通りです。
- 状態、行動、報酬の関係性を規定するマルコフ決定プロセスの基本構成を確認する。
- 方策オンの代表であるSARSAと、方策オフの代表であるQ学習のアルゴリズムを手計算で比較する。
- 過去のデータを蓄積して再利用するDQNの経験再生機能が、なぜ方策オフの性質を前提としているのかを整理する。
- 連続的な数値を直接出力する方策勾配法やActor-Critic手法において、方策オン型（PPOなど）と方策オフ型（SACなど）がどのように実装されているかを把握する。
行動選択の基準と学習対象の分離という関係性を順序立てて整理しておくことで、多様な強化学習アルゴリズムの設計思想を体系的に理解できるようになります。
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
