確率統計における周辺化消去の名称の由来と計算の仕組み

こんにちは。ゆうせいです。

確率や統計、機械学習の基礎を学ぶ過程で、周辺化や周辺化消去という言葉を目にすることがあります。複数の要素が絡み合う確率の中から、関心のない特定の変数の影響を取り除き、知りたい変数だけの確率を導き出す計算処理を指します。日常会話ではあまり使われない「周辺」という言葉がなぜ使われているのか、疑問を持つ方も少なくありません。この名称の起源や数学的な意味合い、そして実際の計算手順について詳しく解説します。

周辺化消去の名称の由来

周辺化という言葉は、英語の marginalization(マージナライゼーション)の日本語訳です。この言葉の背景には、確率の数値を一覧表に整理した際のレイアウトが関係しています。

表の余白(マージン)に合計を書いた歴史

2つの変数を組み合わせた確率を整理する際、縦軸と横軸を用いたクロス集計表を作成します。例えば、ある高校で全校生徒を対象に「通学方法(徒歩・自転車・電車)」と「朝食の有無(食べる・食べない)」の人数を数えて一覧表にまとめる場面を想定してください。

表の中央にあるマス目には、徒歩で朝食を食べる人数、自転車で朝食を食べない人数といった、両方の条件が重なった人数が書き込まれます。一方で、通学方法の条件を無視して「朝食を食べる人の全合計」や「食べない人の全合計」を知りたい場合、表の各行を横方向に足し合わせて、表の最も右端にある欄に数値を書き込みます。

英語で本の余白やページの端を意味する単語は margin(マージン)です。表の外枠や端の余白部分に合計値を書き込んで整理したことから、表の端に現れる確率を周辺確率(marginal probability)と呼ぶようになりました。特定の変数の影響を足し算によって合算し、関心のある変数だけの数値を表の端へ抽出する操作そのものを、周辺化または周辺化消去と呼んでいます。

周辺化消去の数学的な処理と専門用語

周辺化消去は、表の端に合計を求める操作を数式で表現したものです。

同時確率と周辺確率という専門用語

2つ以上の出来事が同時に起こる確率を同時確率と呼びます。先ほどの例では、ある生徒が「自転車通学」かつ「朝食を食べる」という2つの条件を同時に満たす確率のことです。

これに対して、一方の条件だけに着目した確率を周辺確率と呼びます。通学手段が何であれ「朝食を食べる」生徒全体の確率が該当します。

足し算と積分による消去の仕組み

着目したい変数を X、関心のない変数を Y と置いた場合、同時確率から変数 Y を周辺化消去して X の周辺確率 P(X) を求める計算式は以下のようになります。

離散型(飛び飛びの値)の場合、変数 Y のすべての取り得る値について同時確率を足し合わせます。

P(X) = \sum_{Y} P(X, Y)

連続型(連続する実数値)の場合、足し算の代わりに積分記号を用いて変数 Y の全範囲で積分を行います。

P(X) = \int P(X, Y) dY

この計算を行うと、計算結果の式から変数 Y が消え去り、変数 X だけの関数として整理されます。この処理の様子から、変数を消し去るという意味を込めて周辺化消去と呼ばれます。

周辺化消去を行う際の特徴

モデルの分析において周辺化消去を活用するアプローチには、計算処理上の明確な特徴が存在します。

周辺化消去のメリット

  • 関心のない不要な不確実性やノイズとなる変数を数学的に統合して除去できるため、分析したい特定の変数のみに焦点を絞って評価を行えます。
  • ベイズ統計において、観測できない潜在変数や未知のパラメータの影響を平均化して扱い、観測データのみに基づく予測分布を導出できます。

周辺化消去のデメリット

  • 組み合わせる変数の数が増加するにつれて、足し合わせる組み合わせの総数や積分の計算回数が指数関数的に増大し、計算負荷が急激に高くなります。
  • 連続型の確率分布において確率密度関数の形状が複雑な場合、手計算や解析的な手法で積分を解くことができず、近似計算手法を導入する必要があります。

まとめ

周辺化消去という名称は、確率のクロス集計表を作成した際に、関心のない変数を足し合わせた合計値を表の端(マージン)に書き込んで整理した歴史的な表記方法に由来しています。複数の条件が同時に絡み合う中から、特定の変数だけに着目して全体を俯瞰するための基本的な計算手法です。

この概念の理解を深めるための学習手順は以下の通りです。

  1. 2つの条件で構成される簡単な度数分布表を手書きで作成し、表の右端や下端の合計欄を計算して周辺度数と周辺確率の配置を確認します。
  2. 離散型の同時確率分布の表を用いて、シグマ記号による足し合わせで変数が消去される計算の流れを追跡します。
  3. 連続型の確率密度関数を用いた重積分の計算に進み、正規分布などの基本的な関数を対象にして特定の変数を積分消去する手順を反復して確認します。

投稿者プロフィール

山崎講師
山崎講師代表取締役
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します!
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。