【情報理論】なぜ「エントロピー」なのか？天才ノイマンの「悪魔的なアドバイス」
山崎講師こんにちは。ゆうせいです。
前回は「交差エントロピー」などの話をしてきましたが、そもそもこんな疑問を持ちませんでしたか？
「なんで物理学の用語である『エントロピー』が、コンピュータや通信の話に出てくるの？」
物理でのエントロピーといえば、「乱雑さ」や「無秩序」を表す熱力学の言葉です。部屋が散らかる法則のようなものですね。
一方、クロード・シャノンが作った情報理論でのエントロピーは、「情報の量」や「不確かさ」を表します。
実は、シャノンがこの名前をつけた背景には、あの天才数学者 ジョン・フォン・ノイマン との、まるでコントのような「密談」があったと言われています。
今回は、科学史上もっとも有名な「名付けの裏話」を紹介しましょう。
シャノンの悩み：「この数式に名前をつけたい」
1940年代後半、ベル研究所にいたシャノンは、通信の効率を測るための画期的な理論を構築していました。
そこで彼は、「情報源がどれくらい予測不可能か（＝どれくらい新しい情報を含んでいるか）」を表す数式（ 
しかし、彼はこの新しい概念にどんな名前をつければいいか迷っていました。
「情報（Information）」だと普通すぎるし、「不確かさ（Uncertainty）」だとインパクトが弱い……。
そこで彼は、当時世界最高の頭脳を持っていた数学者、ジョン・フォン・ノイマンに相談に行きました。
ノイマンの助言：「議論に勝てるからそう呼べ」
相談を受けたノイマンは、シャノンの数式を見てニヤリと笑い、こうアドバイスしたと言われています。
「エントロピー（Entropy） と呼ぶのがいいだろう」
その理由は2つありました。
理由1：数式が同じだったから
これは真面目な理由です。
シャノンが作った「情報の不確かさ」を表す式は、物理学でボルツマンたちが発見していた「熱力学的エントロピー」の式と、数学的な形がそっくりだったのです。
「同じ形をしているなら、同じ名前でいいじゃないか」というわけです。
理由2：誰も理解していないから（こっちが本音？）
そして、ノイマンは続けてこう言ったと伝えられています。
「それに、エントロピーと呼ぶのにはもう一つ大きな利点がある。
誰もエントロピーの本当の意味なんてわかっちゃいないんだ。
だから議論になったとき、君は常に優位に立てるはずだ！」
なんと、「難しい言葉を使って相手を煙に巻いてしまえ」という、天才ならではの（少し意地悪な）ジョークだったのです！
こうして、シャノンはこの概念を「情報エントロピー」と名付け、世に発表しました。
偶然の一致か、必然か
ノイマンはジョーク交じりに提案しましたが、実際にはこの「エントロピー」という名前は完璧でした。
- 物理のエントロピー：分子がバラバラに散らばっていて、状態が特定できない（無秩序）。
- 情報のエントロピー：次に何が来るか予測できなくて、中身がわからない（不確実）。
「整頓されていない」ということは、裏を返せば「何が出てくるかわからないドキドキ（＝情報量）」が詰まっているということです。
物理的な「乱雑さ」と、情報的な「予測のつかなさ」は、深いところでつながっていたのです。
まとめ
いかがでしたか。
私たちが何気なく使っている「情報エントロピー」という言葉。
その由来は、天才フォン・ノイマンの「ハッタリがきくから」という、まさかのアドバイスにありました。
- シャノンは名前を迷っていた。
- ノイマンが「エントロピー」を勧めた。
- 理由は「数式が似ている」のと「誰も理解してないから議論で勝てる」から。
科学の歴史も、人間臭いエピソードで動いていると思うと面白いですよね。
セイ・コンサルティング・グループの新人エンジニア研修のメニューへのリンク
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
