自己情報量の公式の覚え方と直感的理解：確率と情報量の関係

2026年10月26日 2026年10月26日山崎講師

山崎講師

こんにちは。ゆうせいです。

情報理論の基礎となる自己情報量は、一見すると対数関数を用いた複雑な数式に見えます。しかし、日常の直感と数式を結びつけることで、公式の構造を無理なく記憶できます。数学的な前提知識がない方に向けて、自己情報量の公式の導き方と覚え方を順を追って解説します。

自己情報量とは何か

情報理論において、ある事象が起きたときに得られる「驚きの大きさ」や「新しさの度合い」を定量化した尺度を自己情報量と呼びます。

珍しい出来事ほど価値が高いという考え方

日常会話を例に考えてみます。例えば、天気予報で「明日は太陽が東から昇る」と聞いても、新しい情報は得られません。誰でも当たり前と分かっている出来事には、情報の価値がほとんど存在しないためです。

一方で、「明日は夏なのに雪が降る」という予報を聞いた場合、大きな驚きとともに多くの情報を得たと感じます。

このように、発生する確率が低い珍しい出来事ほど、起きたときに得られる情報の大きさ（自己情報量）は高くなります。反対に、発生する確率が高いありふれた出来事ほど、得られる情報の大きさは小さくなります。

自己情報量の公式とその構成要素

事象Eが起こる確率をP(E)と表すとき、事象Eが持つ自己情報量I(E)は以下の式で定義されます。

$I(E) = -\log_{2}{P(E)} = \log_{2}{\frac{1}{P(E)}}$

公式に含まれる各要素の意味を分解します。

確率の逆数にする理由

確率P(E)は、0より大きく1以下の値をとります。確率が小さくなるほど情報量を大きくしたい場合、最も単純な方法は確率の逆数を取ることです。

$\frac{1}{P(E)}$

事象の起きにくさを表す倍率として解釈できます。例えば、確率が1/2（2回に1回起こる事象）であれば逆数は2となり、確率が1/100（100回に1回起こる事象）であれば逆数は100となります。逆数を取る操作によって、「確率が低いほど値が大きくなる」という関係が成立します。

対数（log）を取る理由

なぜ単なる逆数ではなく、対数を用いる必要があるのでしょうか。理由は情報の「足し算（加法性）」を満たすためです。

例えば、公正なコインを2回投げる場面を想定します。

1回目に表が出る確率は1/2です。
2回目にも表が出る確率は1/2です。
2回続けて表が出る確率は、1/2 × 1/2 = 1/4となります。

逆数だけで計算すると、1回ごとの値は2、連続で起きた場合は4になります。しかし、私たちが直感的に感じる情報量は、「1回目の情報」と「2回目の情報」を合計した量であってほしいと考えます。

掛け算を足し算に変換する数学的道具が、対数（log）です。対数を取ることで、確率の掛け算が情報量の足し算へと変換されます。

底として2を用いる理由は、コンピュータが扱う情報単位であるビット（0か1かという2択の質問の回数）に対応させるためです。裏表が等確率なコインを投げて結果を知る行為は、ちょうど1ビットの情報量に相当します。

自己情報量の公式を思い出すための3ステップ

試験や実務で公式を思い出す際は、以下の手順で組み立てます。

直感を思い出す：珍しい出来事ほど情報量は大きいため、確率Pの逆数（1/P）を置きます。
独立した出来事の足し算を思い出す：独立した事象の情報量を足し算にするため、対数（log）を被せます。
対数の性質を使って変形する：対数の公式によって、マイナスを前に出して整理します。

$\log_{2}{\frac{1}{P}} = \log_{2}{P^{-1}} = -\log_{2}{P}$

この変形手順を一度頭の中で再現できるようにしておくと、マイナスの付け忘れを防げます。

自己情報量を学ぶメリットと実務上の制約

自己情報量を理解することには、理論的な利点と考慮すべき制約が存在します。

客観的な利点

データの圧縮効率を数理的に計算できるようになります。
機械学習における損失関数（交差エントロピー誤差など）の数学的背景を正確に把握できます。
通信路で送るべき情報ビット数の下限を定量的に評価できます。

考慮すべき制約

事象が起きる確率が事前に正しく定義・計測されていない場合、数値を算出できません。
意味の重要度（ニュースの感情的価値や金銭的損害など）は考慮されず、純粋な発生確率のみに依存した数値となります。

まとめ

自己情報量は、「起きにくさの度合い（確率の逆数）」を「情報の足し算ができる形（対数）」に整えた指標です。「珍しい事象ほど情報が大きい」という感覚を確率の逆数に結びつけ、独立試行の足し算のためにlogを取るという順序で捉えれば、公式を丸暗記する必要はありません。

今後は、この自己情報量をすべての事象について平均化した「平均情報量（エントロピー）」の計算へと進むことで、情報理論全体の体系的な理解へとつながります。

セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。

投稿者プロフィール

山崎講師代表取締役

セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。