SARSAの名前の由来と方策オン型強化学習の仕組みを初心者向けに解説

2026年10月11日 2026年10月11日山崎講師

山崎講師

こんにちは。ゆうせいです。

人工知能や制御工学の分野では、試行錯誤を通じて最適な行動の選び方を機械に習得させる強化学習という手法が活用されています。ロボットの歩行制御やゲームのプレイ方針決定など、正解のデータが最初から与えられていない環境において、試行錯誤の結果得られる報酬を手がかりに行動指針を更新していく技術です。強化学習における基本的な手法のひとつとして知られるアルゴリズムがSARSAです。今回は、SARSAという名称の由来や処理の流れ、具体的な長所と短所について解説します。

SARSAという名称の由来

SARSAという名称は、アルゴリズムが価値を1回更新する際に参照する5つの要素の頭文字を順番に並べた言葉です。

その5つの要素とは、以下の英語表現を指しています。

State（現在の状態：S）
Action（選択した行動：A）
Reward（得られた報酬：R）
State（遷移した次の状態：S）
Action（次の状態で実際に選んだ行動：A）

S、A、R、S、Aという記号の並び順をそのまま読み上げられるように繋ぎ合わせた結果、SARSAという名称が定着しました。この名前は1998年にサットン（Sutton）氏とバルト（Barto）氏による強化学習の代表的な教科書の中で公式に導入されました。

実際に選んだ一歩を振り返る比喩

SARSAの学習方針を理解するために、足元の悪い山道を歩く練習を例に考えてみます。

先行手法であるQ学習は、ある地点（状態）から一歩踏み出し、次に進んだ地点において「最も安全で理想的な足場」が存在すると仮定して手帳の点数を更新します。たとえ本人が次の瞬間にふざけて崖の近くを歩く予定であっても、計算上は常に完璧な歩行者の目線で価値を評価します。

これに対してSARSAは、自分が実際に取った足取りをそのまま記録します。「現在の岩場（S）で右足を出し（A）、転ばずに進めた（R）あと、次にたどり着いたぬかるみ（S）で実際に左足を前へ出した（A）」という、現実に発生した5段階の連続した体験をそのまま振り返って手帳の数値を書き換えます。未来の理想論ではなく、現在の方針に基づいて実際に選んだ次の行動を基準にして評価を更新する点が特徴です。このような性質を持つ手法を「方策オン型（オンポリシー）」と呼びます。

SARSAの更新アルゴリズムと数式表現

SARSAは、ある状態での行動価値を評価するQ値を、実際に遷移した先の状態で選択された行動のQ値を用いて調整します。

現在の状態 s で行動 a を実行し、報酬 r を得て次の状態 s' へ移動した際、その状態 s' で現在の行動方針（方策）に従って次の行動 a' をあらかじめ決定します。その後、以下の計算式に従ってQ値を更新します。

SARSAにおけるQ値の更新式

$Q(s, a) \leftarrow Q(s, a) + \alpha \left( r + \gamma Q(s', a') - Q(s, a) \right)$

数式内の記号はそれぞれ以下の意味を持っています。

alpha（学習率）：更新の強さを調整する係数であり、0から1の範囲の実数を設定します。
gamma（割引率）：将来獲得する報酬の価値を現時点でどれほど重視するかを定める係数であり、0から1の範囲の実数を設定します。
Q(s', a')：次の状態 s' において、エージェントが実際に選択した行動 a' のQ値です。

括弧の内側の計算は、実際に得られた報酬と次の行動の価値を足した目標値から、現在の推定値を差し引いた差分を表しています。この差分に学習率を掛け合わせた数値を既存のQ値に足し込むことで、推定精度を段階的に向上させます。

SARSAのメリット

SARSAを採用することによって確認できる具体的な長所には、以下の項目が挙げられます。

安全性を重視した学習：探索のために危険な行動を一定確率で選ぶ方針をとっている場合、その探索のリスクを織り込んだ上で価値を計算するため、崖っぷちのような危険地帯を避ける慎重な移動経路を獲得しやすい傾向があります。
現実の挙動との一致：学習時の価値評価と実行時の行動選択基準が完全に一致しているため、計算上の理論値と実際の挙動との間に乖離が生じにくい特性を持ちます。
アルゴリズムの簡潔性：状態と行動の組み合わせを記録するテーブルを用意し、単純な加減乗除の計算を反復するだけで構成できるため、複雑な計算基盤を必要とせずに実装できます。

SARSAのデメリット

一方で、SARSAを運用する際には以下のような短所も確認されています。

最適経路への到達の遅さ：探索による失敗の可能性を過剰に警戒して安全寄りの判断を下すため、最短距離でゴールへ向かうような理論上の限界性能（最適方策）に到達するまでの試行回数が多くなる場合があります。
方策変更への適応負荷：行動を選択する基準（方策）を変更した際、過去に蓄積した行動履歴をそのまま再利用して学習を進めることが難しく、新しい方針のもとで再度データを収集し直す必要があります。
大規模な状態空間における限界：基本のテーブル形式のSARSAでは、画面の全ピクセルや連続して変化する数値のように状態の数が膨大になる課題に対して、メモリ消費量と計算時間の両面で対応が困難になります。

まとめと次の学習ステップ

SARSAは、状態（State）、行動（Action）、報酬（Reward）、次の状態（State）、次の行動（Action）という5つの構成要素の頭文字に由来して名付けられました。理想的な最大値ではなく、実際にエージェントが選択した次の行動の価値を反映させて学習を進める方策オン型の基本アルゴリズムです。

SARSAの理解を深めるための学習ステップは以下の通りです。

状態、行動、報酬の関係性を規定するマルコフ決定プロセス（MDP）の前提条件を確認する。
碁盤目状の迷路や崖歩き問題（Cliff Walking）を題材にして、更新式に基づきQテーブルの数値が書き換わる過程を手計算で追跡する。
常に最大のQ値を選ぶ方策オフ型のQ学習と、実際に選んだ行動のQ値を用いるSARSAを実行結果の移動軌跡で比較し、安全志向と効率志向の違いを把握する。
過去の複数ステップ分の経験をまとめて価値に反映させる適格度トレースを組み込んだSARSA(lambda)の仕組みを学ぶ。
状態や行動が連続的な数値である環境へ対応するため、線形関数近似器やニューラルネットワークを価値関数に導入する手法へと学習を進める。

強化学習の基本的な更新サイクルと構成要素の役割を順番に整理していくことで、自動運転の制御や高度なゲームAIに用いられる現代の深層強化学習モデルの基本原理についても明確に理解できるようになります。

セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。

投稿者プロフィール

山崎講師代表取締役

セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。