情報理論におけるエントロピーの公式の覚え方：自己情報量の期待値から導く考え方

2026年10月26日 2026年10月26日山崎講師

山崎講師

こんにちは。ゆうせいです。

情報理論で頻繁に登場するエントロピーの計算式は、記号の並びを見ると難解な印象を受けがちです。しかし、前提となる考え方を一つずつ分解して整理すると、計算式自体が持つ意味を自然に把握できます。この記事では、専門知識を持たない方に向けて、エントロピーの定義と公式の覚え方を順を追って解説します。

エントロピーとは何か

情報理論におけるエントロピーとは、ある状況において得られる「情報の平均的な大きさ」や「予測のつきにくさ（不確実性）」を数値化した尺度です。

サイコロの出目と予測のつきにくさ

高校生の日常生活に例えて考えてみます。

表と裏の両面に1が書かれている特殊なサイコロを振る場合、次にどの目が出るかは振る前から分かっています。この結果を見ても新しい情報は得られず、予測のつきにくさは0です。

一方で、1から6までの数字が均等に書かれた通常のサイコロを振る場合、どの目が出るかは事前に確定できません。結果を確認したときに得られる驚きの度合いは、先ほどのサイコロよりも大きくなります。

このように、何が起こるか予測できない度合いが高くなるほど、エントロピーの値は大きくなります。

エントロピーの公式と導出の考え方

エントロピーは、各出来事が持つ自己情報量を確率で重み付けした「期待値（平均値）」として定義されます。

起こり得る事象が n 種類あり、それぞれの事象が起きる確率を P(x) と表すとき、エントロピー H(X) を求める計算式は以下のように表されます。

$H(X) = - \sum_{i=1}^{n} P(x_{i}) \log_{2} P(x_{i})$

この式を丸暗記しようとすると、シグマ記号やマイナスの位置で混乱しやすくなります。公式を構成する要素を2段階に分けて確認します。

1. 1つの出来事が持つ自己情報量

ある事象が起きたときに得られる情報量（自己情報量）は、その事象が起きる確率の逆数に対数を取ったものです。

$I(x_{i}) = \log_{2} \frac{1}{P(x_{i})} = - \log_{2} P(x_{i})$

珍しい出来事ほど得られる情報量が大きくなるという性質を表現しています。

2. 自己情報量の期待値（平均値）の計算

高校数学で学ぶテストの平均点（期待値）の計算を思い出してください。それぞれの点数に、その点数を取る確率を掛けて、すべての値を合計します。

エントロピーの計算もまったく同一の構造を持っています。

各出来事の情報量（点数に相当）を用意します。
それぞれの出来事が起こる確率を掛け合わせます。
すべての出来事について合計します。

これをそのまま数式で並べると次のようになります。

$H(X) = \sum_{i=1}^{n} P(x_{i}) \times I(x_{i})$

ここに自己情報量の式を代入します。

$H(X) = \sum_{i=1}^{n} P(x_{i}) \left( - \log_{2} P(x_{i}) \right)$

マイナスの符号をシグマ記号の前に出すことで、教科書に記載されている標準的なエントロピーの公式が完成します。

公式を思い出すための3ステップ

試験や学習時に公式を再現する手順は以下の通りです。

ステップ1：エントロピーは情報量の期待値（平均）であるという前提を思い出す。
ステップ2：確率 P と自己情報量 I を掛け算して合計する形を作る。
ステップ3：自己情報量の部分を対数の式に置き換え、マイナス記号を前に出す。

「確率掛ける情報量の合計」という言葉で構造を捉えておくことで、記号の配置を誤る事態を防ぐことができます。

エントロピーを扱うメリットと制約

エントロピーの概念を利用する上での特徴を、客観的な観点から整理します。

メリット

データ圧縮の限界値を数学的に導出できます。平均して1文字あたり何ビットで表現できるかを事前に算出可能です。
システムやデータ群の乱雑さ、予測不能性を単一の実数として比較・評価できます。

制約

各事象が起こる確率が正確に定まっていない環境では、適切なエントロピーの値を算出できません。
内容の文脈や実社会での重要度（人命に関わる情報か、娯楽の情報かなど）は計算結果に反映されず、発生確率のみに依存します。

まとめ

エントロピーの公式は、独立した複雑な数式ではなく、「事象の自己情報量」に「その事象が起こる確率」を掛けて足し合わせた期待値の計算式です。「期待値の計算構造」を核として捉えることで、マイナスやシグマの意味を理解しながら公式を再現できるようになります。

まずは1つの事象についての自己情報量を正確に立式し、続いてそれらを確率で足し合わせるという手順を踏んで、練習問題に取り組んでみてください。

セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。

投稿者プロフィール

山崎講師代表取締役

セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。