【数式の奇跡】情報エントロピーと熱力学エントロピー、瓜二つの式を見比べてみよう
山崎講師こんにちは。ゆうせいです。
前回の話で、フォン・ノイマンが「数式がそっくりだから、同じ名前にしちゃえ」とアドバイスしたというエピソードを紹介しました。
でも、言葉で「似ている」と言われても、実際にどれくらい似ているのか気になりますよね。
「物理学（熱力学）」と「情報理論」。
全く違う分野のこの2つが、実は 数学的には同じ顔をしていた という、科学史上もっとも美しい偶然（あるいは必然）について、数式アレルギーの方でもわかるように解説します。
1. シャノンの式（情報の不確かさ）
まずは、シャノンが作った「情報の不確かさ（情報エントロピー）」の式を見てみましょう。
以前、「確率は低いほど、起きたときの驚き（情報量）が大きい」という話をしましたね。これを全部足し合わせた平均が情報エントロピー 
式で書くとこうなります。
記号の意味は以下の通りです。
：ある事象が起こる確率（たとえばコインの表なら
）。
：確率を情報の量に変換するための対数。
（シグマ）：起こりうる全てのパターンを足し合わせる記号。
（マイナス）：確率の対数はマイナスになるので、プラスに戻すための符号。
要するに、 「確率 
2. ボルツマンの式（物理の乱雑さ）
次に、その70年ほど前に物理学者ルートヴィッヒ・ボルツマンが発見していた「熱力学エントロピー」の式です。
彼は、気体分子が部屋の中でどのように飛び回っているかを研究し、「分子の散らかり具合（乱雑さ）」を数式にしました。
彼の墓石にも刻まれている有名な式がこちらです。
：エントロピー（乱雑さ）。
：ボルツマン定数（物理の単位を合わせるための定数）。
：場合の数（分子の配置パターンが何通りあるか）。
あれ。 と思いませんか。
「形が全然違うじゃないか！」と。
そうなんです。この一番有名な墓石の式は、シンプルに整理された後の形なのです。
しかし、この
3. 2つを並べてみると...？
物理学の式を、確率
では、さきほどのシャノンの式と並べてみましょう。
- 情報理論：
- 物理学 ：
見てください。
違いは、物理的な単位を合わせるための係数
たったそれだけで、 後ろの形は完全に一致 しているのです！
なぜこんなに似てしまったのか？
これは単なる偶然ではありません。実は、見ている現象の本質が同じだったからです。
物理学のエントロピーが高い状態とは、分子が部屋中に均等に散らばっていて、 「どの分子がどこにあるか特定できない状態」 です。
情報理論のエントロピーが高い状態とは、あらゆる可能性が均等にあって、 「次に何が起きるか予測できない状態」 です。
つまり、どちらも 「中身がよくわからなくて、特定できない（不確実である）」 ということを、数学という共通言語で記述したら、自然とこの形にたどり着いてしまったのです。
- 物理学者：「部屋が散らかっていて（乱雑で）、分子の位置がわからない！」
- シャノン：「データがランダムで（不規則で）、次の文字がわからない！」
対象が「分子」か「情報」かの違いだけで、言っていることは同じだったのですね。
まとめ
いかがでしたか。
ノイマンが「同じ名前でいいよ」と言ったのも納得ですよね。
- シャノンの式：
- 物理の式：
この2つは、双子のようにそっくりでした。
「情報の量」とは、物理的な「乱雑さ」と同じ数式で表せる。この発見こそが、現代のデジタル社会を支える理論的支柱になっているのです。
セイ・コンサルティング・グループの新人エンジニア研修のメニューへのリンク
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
