MAP推定の公式の覚え方と最尤推定に事前分布を加える計算手順

こんにちは。ゆうせいです。

統計的なデータ分析や機械学習の分野において、手元にあるデータから母数を割り出す手法として最大事後確率推定(MAP推定)が用いられます。教科書に掲載されている数式を文字の並びのまま暗記しようとすると、最尤推定との違いや数式の組み立て方を見失ってしまうことがあります。

MAP推定の公式を理解するための要点は、最尤推定に事前分布の情報を掛け合わせる点にあります。記事内ではMAP推定の定義を整理した上で、公式の構造や最尤推定との相違点、そして具体的な学習手順について解説します。

MAP推定の基本概念と気象予報による比喩

MAP推定とは、データが観測されたという条件のもとで、パラメータが実現する確率(事後確率)を最大にする推定方法です。Maximum A Posteriori estimationの略です。

過去の気象データと現在の空模様を用いた比喩

MAP推定の仕組みは、明日の天気を予想する手順に例えられます。

現在の空に黒い雲が広がっているという観測データがあります。この現在の雲の様子だけを見て雨が降る確率を最も高く見積もる手法が最尤推定に相当します。

一方で、観測地点が雨の極めて少ない砂漠地帯である場合、過去数十年の蓄積データから「この地域では年間を通じてほとんど雨が降らない」という事前の傾向があらかじめ分かっています。この事前に判明している基礎情報を事前分布と呼びます。

MAP推定では、現在の空の様子(手元の観測データ)に加えて、その土地の過去の天候傾向(事前知識)を掛け合わせ、双方が最も納得できる結論を導き出します。データが少ない状況でも、過去の傾向を判断材料に加えることで極端な判断を回避します。

MAP推定の公式の構造と覚え方

公式を覚える際は、ベイズの定理を基点として、最大化に関与しない分母を省略する変形規則に着目します。

事後確率を最大化する基本式

パラメータをθ、観測データをXと置きます。データXが得られたもとでパラメータθが生じる事後確率はP(θ|X)と表されます。ベイズの定理を適用すると、事後確率は以下の分数で表現されます。

P(\theta\vert{}X) = \frac{P(X\vert{}\theta)P(\theta)}{P(X)}

この数式において、P(X|θ)はパラメータθを前提としたときにデータXが得られる尤度です。P(θ)はデータを観測する前にパラメータθが持っていた確率を表す事前分布です。分母のP(X)はデータX全体が生じる確率を示しています。

公式の記憶法「最尤推定+事前分布」

MAP推定の目的は、事後確率P(θ|X)を最大にするパラメータθの値を求めることです。

分母のP(X)にはパラメータθが含まれておらず、θの値を変化させても分母の数値は変動しません。そのため、最大値を与えるθを探す計算においては分母を定数として除外できます。結果として、事後確率は分子の掛け算に比例します。

P(\theta\vert{}X) \propto P(X\vert{}\theta)P(\theta)

さらに、微分の計算を容易にするために自然対数を適用すると、積の形は和の形へ分解されます。

\ln P(\theta\vert{}X) = \ln P(X\vert{}\theta) + \ln P(\theta) + \text{定数}

前半のln P(X|θ)は最尤推定で最大化する対数尤度そのものです。後半のln P(θ)は事前分布の対数です。公式を覚える際は、以下の変形手順を1つの規則として意識します。

  • 尤度P(X|θ)に事前分布P(θ)を掛け算する
  • 自然対数を取ることで、掛け算が対数尤度と事前分布の対数の足し算へ変換される
  • 最尤推定の式に事前分布を足した形として記憶する

MAP推定を利用するメリットとデメリット

最尤推定に事前分布を組み合わせて計算する手法には、実務上のメリットと留意すべきデメリットの双方が存在します。

メリット

  • 過学習の防止:観測データが少量しかない場合でも、事前分布が歯止めとなり、特定データへの過度な適合を抑制できます。
  • 背景知識の反映:過去の実験結果や物理法則などの既存知見を、数式の中に直接反映させて計算を進められます。
  • 正則化との対応関係:事前分布に正規分布やラプラス分布を仮定すると、機械学習におけるL2正則化(リッジ回帰)やL1正則化(ラッソ回帰)と同一の数式構造が導かれます。

デメリット

  • 事前分布の主観性:分析者がどの確率分布を事前情報として選択するかによって、最終的に算出される推定結果が変化します。
  • データの増加に伴う効果の減衰:観測データ数が膨大になると尤度の影響が圧倒的になり、最尤推定の計算結果と差異がなくなります。
  • 複雑な分布における計算難度:事前分布の形状が複雑になると、微分方程式を直接解くことが困難になり、数値計算による近似が必要になります。

まとめ

MAP推定の公式を確実に記憶するための要点は、最尤推定の指標である尤度に対して、事前の知見である事前分布を付け加える点にあります。対数を適用することで、掛け算が足し算の構造へと整理され、計算の処理を明確に進めることができます。

MAP推定の計算手法を定着させるための学習手順は以下の通りです。

  1. 観測データから尤度関数P(X|θ)を作成し、最尤推定で用いる式の形状を確認します。
  2. 問題設定からパラメータの事前分布P(θ)を特定し、尤度関数と掛け合わせた積の式を組み立てます。
  3. 式全体に自然対数を適用し、対数尤度と事前分布の対数を足し合わせた目的関数を作成します。
  4. 目的関数をパラメータθで微分し、その導関数が0となる方程式を解いて最適な推定量が得られているかを確認します。

最尤推定の式に事前分布の足し算を追加するという構造を意識することで、数式の暗記に頼らず計算の流れを把握できるようになります。

投稿者プロフィール

山崎講師
山崎講師代表取締役
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します!
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。