Q学習の名前の由来と強化学習における価値更新の仕組みを初心者向けに解説

2026年10月11日 2026年10月11日山崎講師

山崎講師

こんにちは。ゆうせいです。

人工知能や機械学習の分野では、試行錯誤を通じてコンピュータ自身に行動の選択基準を学ばせる強化学習という手法が利用されています。ゲームの自動操作やロボットの歩行制御など、正解のデータが最初から用意されていない環境で最適な行動方針を見つけ出す技術です。強化学習を支える代表的なアルゴリズムのひとつとしてQ学習が知られています。今回は、Q学習という名称の由来や処理の流れ、具体的な利点と課題について解説します。

Q学習という名称の由来

Q学習は、英語の Q-learning を日本語へ翻訳した用語です。この手法は1989年にクリス・ワトキンス（Chris Watkins）氏の博士論文の中で提案されました。

名称に含まれる Q というアルファベットは、行動の質（Quality）を表しています。特定の状況において、ある行動を取った場合に将来にわたって得られる報酬の質を数値化した「Q値（行動価値）」を推定することから、Q学習と名付けられました。

行動の質を成績表で管理する比喩

Q学習の基本的な考え方を理解するために、迷路を脱出する練習を例に考えてみます。

迷路の中にいる挑戦者は、最初はどの分かれ道を進めばゴールにたどり着けるのか分かりません。そこで、手帳に表を作成し、それぞれの部屋（状態）で「東へ進む」「北へ進む」といった移動（行動）を行った結果、どれくらい良い成果に繋がったかを点数として記録していきます。

この手帳に書き込まれる点数がQ値（行動の質）に相当します。最初はすべての枠が0点ですが、落とし穴に落ちれば減点され、ゴールに近づけば加点されます。何度も迷路を探索して手帳の点数を書き換えていくことで、最終的には各部屋で最も点数が高い行動を選ぶだけで最短ルートを歩けるようになります。行動の点数表を書き直しながら学んでいく枠組みがQ学習です。

Q学習の更新アルゴリズムと数式表現

Q学習は、環境から得られた即時報酬と、移動先の次の状態で得られる最大の予測価値を足し合わせ、現在の行動価値を段階的に修正していきます。

Qテーブルの更新式

状態 s において行動 a を選択し、報酬 r を得て次の状態 s' へ移行した際、対応するQ値は以下の数式に基づいて更新されます。

Q値の更新式

$Q(s, a) \leftarrow Q(s, a) + \alpha \left( r + \gamma \max_{a'} Q(s', a') - Q(s, a) \right)$

数式内の各文字は以下の意味を持っています。

alpha（学習率）：古い数値を新しい計算結果でどれくらいの強さで上書きするかを決める割合（0から1の範囲の実数）です。
gamma（割引率）：将来得られる見込みの報酬を、現時点でどれくらい重視するかを表す係数（0から1の範囲の実数）です。
max_{a'} Q(s', a')：次の状態 s' で選択できるすべての行動の中から、最も高い価値を持つ行動を選んだ場合のQ値です。

括弧の中の計算は「新しく判明した目標値」と「現在の推定値」の差額を表しており、この差分を縮めるように反復計算を繰り返します。

行動方針と学習の分離

Q学習の特徴は、学習中の行動選択基準とは無関係に、常に次の状態で最善となる最大のQ値を参照して更新を行う点です。このような性質を「方策オフ型（オフポリシー）」と呼びます。探索のためにランダムな移動を交えながら進んでいても、計算上は常に最善の選択肢を見据えて価値を更新できます。

Q学習のメリット

Q学習を採用することによって確認できる具体的な利点には、以下の項目が挙げられます。

環境モデルが不要：状態の遷移確率や物理法則といった環境の内部構造を事前に数式で与えなくても、試行錯誤の経験のみから最適な行動方針を獲得できます。
最適性への収束：すべての状態と行動の組み合わせを十分に試行し、学習率を適切に調整するという数学的条件を満たせば、理論上は最適なQ値へ必ず収束することが証明されています。
構造の単純さ：ニューラルネットワークを使用しない基本のQ学習であれば、表（テーブル）形式で数値を足し引きするだけで実装できるため、プログラムの構造が簡潔です。

Q学習のデメリット

一方で、基本的なQ学習を実務へ適用する際には以下のような課題も存在します。

次元の呪い：状態や行動の数が増加すると表のマス目が膨大になり、メモリ容量が不足して計算が困難になります。例えば画面の全ピクセルを状態として扱うような複雑な課題にはそのまま適用できません。
連続値への直接適応の困難さ：ロボットの関節の角度や速度のように、数値が連続して変化する入出力に対しては、数値を離散的な区間に区切る前処理が必要になります。
過大評価の発生：更新式に最大値を採用する処理が含まれているため、測定誤差や確率的なノイズが存在する環境では、Q値が実際よりも大きく見積もられやすい傾向があります。

まとめと次の学習ステップ

Q学習は、ある状況における行動の質（Quality）を評価するQ値を、試行錯誤を通じて計算する手法に由来して命名されました。環境のルールをあらかじめ知らなくても、経験から最適な行動方針を自律的に導き出せる強化学習の基盤技術です。

Q学習の理解を深めるための学習ステップは以下の通りです。

状態、行動、報酬、エージェント、環境という強化学習を構成する5つの基本要素の役割を整理する。
実際に数マス×数マスのグリッド迷路を想定し、更新式に従ってQテーブルの数値がどのように書き換わるかを手計算で追跡する。
探索（未知の行動の試行）と活用（評価の高い行動の選択）のバランスを取るための手法であるイプシロン・グリーディ法の仕組みを学ぶ。
行動方針と学習方針を一致させる方策オン型の代表的アルゴリズムであるSARSAとの違いを比較する。
表形式の限界を克服するために、Q値の計算に深層ニューラルネットワークを組み込んだDQN（Deep Q-Network）へと学習を進める。

基本となる価値更新の手順を順序立てて把握しておくことで、近年の自動運転技術やゲームプレイAIに用いられている高度な深層強化学習の構造も明確に理解できるようになります。

セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。

投稿者プロフィール

山崎講師代表取締役

セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。