相互情報量の公式の覚え方：片方を知ることで減る不確実性の計算手順

2026年10月26日 2026年10月26日山崎講師

山崎講師

こんにちは。ゆうせいです。

2つの出来事がどれくらい関係しているかを測る指標として、情報理論では相互情報量が用いられます。一見すると複雑な数式に思えますが、元の不確実性から残った不確実性を差し引くという引き算の構造を押さえると、迷わず立式できるようになります。予備知識のない方に向けて、相互情報量の定義と公式の覚え方を順を追って解説します。

相互情報量とは何か

相互情報量とは、一方の事象を知ることで、もう一方の事象についての予測のつきにくさがどれだけ減少したかを表す尺度です。

雨雲と降水の関係に例えた考え方

高校生が通学する朝の天気を例に取って考えてみます。

空を見ずに傘を持っていくべきか判断しようとすると、雨が降るか降らないかについての予測はつきにくく、不確実な状態にあります。

しかし、西の空に真っ黒な雨雲が出ているという情報を確認できたとします。雨雲の存在を知ったことで、雨が降るかどうかの予想は大幅に立てやすくなり、事前のあやふやな状態は大きく減少します。

知る前のあやふやさから、知った後に残るあやふやさを引き算した差額が、雨雲という情報が持っていた価値です。この減った分の不確実性を数値化したものが相互情報量です。

相互情報量の公式とその構造

確率変数XとYについて、X単独のエントロピー（不確実性）をH(X)、Yを知った上でのXの条件付きエントロピーをH(X|Y)と表記するとき、相互情報量I(X; Y)は次の引き算で表されます。

I(X; Y) = H(X) - H(X|Y)

この関係を整理するため、式に含まれる2つの要素を分解して確認します。

なぜ公式に;が使われているのか？

相互情報量の公式 I(X; Y)でセミコロン（;）が使われる理由は、2つの変数 Xと Yが対等な関係にあり、その「間」で共有されている情報量であることを明確にするためです。

情報理論の数式では、記号によって意味合いが厳密に区別されています。

セミコロン（;）: I(X; Y) のように、「X と Y の間で共通している（相互）」ことを表します。
コンマ（,）: H(X, Y) のように、「X と Y が同時に起きる（結合）」ことを表します。
縦線（|）: H(X|Y)$ のように、「Y を知った条件のもとでの X（条件付き）」を表します。

コンマを用いると「2つの変数をまとめたもの」というニュアンス（結合エントロピーなど）になってしまうため、それらと混同しないように慣例としてセミコロンが用いられています。

1. 最初が持っていた不確実性

H(X)は、Yの情報を何も知らない段階において、Xという事象が持っている平均的な予測のつきにくさ（エントロピー）を表します。

2. 手がかりを得た後に残る不確実性

H(X|Y)は、Yの値が判明したという手がかりを得た後でも、なお解消されずに残っているXの不確実性を表します。YがXと強く関連していれば、残る不確実性は0に近づきます。

2つの差を取ることで、手がかりによって取り除くことができた情報量が算出されます。

結合エントロピーを用いた別表現への展開

相互情報量は、2つの変数を合わせた全体のエントロピーである結合エントロピーH(X, Y)を用いても表すことができます。条件付きエントロピーH(X|Y)は、数学的に以下の式に置き換えることができます。

H(X|Y) = H(X, Y) - H(Y)

この関係を元の式に代入すると、以下の加減算の形へ展開されます。

I(X; Y) = H(X) + H(Y) - H(X, Y)

それぞれの変数が単独で持っている不確実性を足し合わせ、2つが同時に起きるときの全体の不確実性を引くことで、両者の間で重複していた情報を取り出すことができます。

さらに確率分布を用いて厳密に計算する場合、Xの確率分布p(x)、Yの確率分布p(y)、同時に起きる結合確率分布p(x, y)を用いて以下のように定義されます。

$I(X; Y) = \sum_{x} \sum_{y} p(x, y) \log_{2} \frac{p(x, y)}{p(x) p(y)}$

対数の中身が1であれば、XとYは互いに無関係（独立）であり、分子と分母が一致してlogの中が1となるため、相互情報量は0になります。

公式を思い出すための3ステップ

試験や学習時に公式を再現する手順は以下の通りです。

ステップ1：相互情報量は手がかりによって減少した不確実性であるという基本概念を想起します。
ステップ2：最初の不確実性H(X)を左側に置き、知った後の条件付き不確実性H(X|Y)を引き算する形を作ります。
ステップ3：結合エントロピーで展開したい場合は、集合のベン図のように、単独のH(X)とH(Y)を足してから全体のH(X, Y)を引きます。

「元の不確かさから、残った不確かさを引く」という言葉で手順を整理しておくと、符号の取り違えを防ぐことができます。

相互情報量を扱うメリットと実務上の制約

相互情報量を解析の手段として採用する際の特徴を、客観的な観点から整理します。

客観的な利点

相関係数では捉えられない、非線形な（直線的ではない複雑な曲線状の）依存関係も正しく検出できます。
機械学習において、目的変数に対して最も予測に役立つ特徴量を選択する際の明確な数値基準になります。
2つの変数の順序を入れ替えても値が変わらない対称性を持っており、原因と結果を意識せずに依存の強さを評価できます。

考慮すべき制約

確率変数が連続値を取る場合やデータ数が少ない場合、確率密度の推定精度によって計算結果にばらつきが生じます。
2つの事象の間に強い関連性があることは示せても、どちらが原因でどちらが結果であるかという因果関係までは示せません。

まとめ

相互情報量の公式は、元の不確実性から手がかりを得た後の不確実性を引くという、極めて単純な引き算の構造に基づいています。「片方を知ったことで減る不確かさ」という言葉の意味を立式手順に結びつけることで、複雑なシグマや対数の式も無理なく整理できるようになります。

次の段階として、相互情報量が0になる完全独立の条件の確認や、3つ以上の確率変数を扱う条件付き相互情報量の計算へ進むことで、情報理論の枠組みをより深く体系化していくことができます。

セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。

投稿者プロフィール

山崎講師代表取締役

セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。