データの「意外性」を数値化する？情報理論の基礎知識を完全攻略
山崎講師
こんにちは。ゆうせいです。
みなさんは、普段何気なく使っている「情報」という言葉に、重さや大きさがあると考えたことはありますか？
実は、数学の世界では情報の価値を計算することができるのです。今日は、AIや通信技術の根幹を支える「情報理論」という少し不思議な世界を、私と一緒に探検してみましょう！
情報量とは「驚き」の大きさのこと
まず最初に、情報量という言葉から解説します。
情報理論における情報量とは、ある出来事が起きたときの「珍しさ」や「驚き」を数値にしたものです。
例えば、明日の天気を予想してみましょう。
- 砂漠で「明日も晴れる」というニュース
- 砂漠で「明日は雪が降る」というニュース
どちらのニュースの方が、価値があると感じますか？
おそらく後者ですよね。めったに起きないことが起きたとき、私たちは「たくさんの情報を得た」と感じます。
つまり、確率は低いほど情報量は大きくなるというルールがあります。
情報量のメリットとデメリット
この考え方を知るメリットは、データの圧縮に役立つことです。
よく起こる出来事には短い符号を、めったに起きない出来事には長い符号を割り当てることで、通信の効率を劇的に高めることができます。
一方でデメリットとしては、あくまで「確率」に基づいた数値であるため、文章の内容がどれだけ感動的かといった「意味の深さ」までは評価できない点が挙げられます。
エントロピーは「平均的なワクワク感」
次に、平均情報量（エントロピー）についてお話しします。
情報量が「一つの出来事」に対する驚きだったのに対し、エントロピーは「そのサイコロを振ったら、平均してどれくらい驚くことが期待できるか」という平均値を表します。
期待値という言葉を覚えていますか？高校の数学で習う、平均的な見込みのことですね。
もし、すべての目が同じ確率で出る正六面体のサイコロがあれば、次に何が出るか全く予想がつかないため、エントロピー（不確かさ）は最大になります。
逆に、すべての面に「1」と書かれたイカサマのサイコロがあれば、結果は分かりきっているのでエントロピーは 
複雑に絡み合う3つのエントロピー
複数のデータが関係し合うとき、呼び方が少し変わります。
| 用語 | 意味を簡単に言うと |
| 結合エントロピー | 2つの出来事が同時に起きたときの全体のバラツキ |
| 条件付きエントロピー | 片方の結果を知った後、もう片方に残っている不確かさ |
| 相互情報量 | 1つのデータを知ることで、もう1つのデータについてどれだけ理解が進んだか |
ここで、相互情報量を計算する式を見てみましょう。
相互情報量 
これは、元の不確かさから、何かを知った後に残った不確かさを引き算しているだけなのです。差を計算することで「どれだけスッキリしたか」が分かるというわけですね。
KLダイバージェンスで「ズレ」を測る
最後に、相対エントロピー（KLダイバージェンス）を紹介します。
これは、2つの確率分布がどれくらい似ているか、あるいは「ズレているか」を測るための指標です。
例えば、あなたが「このコインは表裏が半分ずつ出るはずだ」という予測（モデル）を持っていたとします。しかし、実際に投げてみたら表ばかり出たとしましょう。この「理想と現実のズレ」を計算するのがKLダイバージェンスの役割です。
機械学習の世界では、AIが予測した答えと正解データのズレを最小にするために、この数式が魔法のように使われています！
まとめとこれからの学習
いかがでしたか？「情報」という目に見えないものを数字で捉える感覚が、少しでも伝われば嬉しいです。
最後に、今日の内容を整理しましょう。
- 情報量は珍しさの指標である
- エントロピーは不確かさの平均である
- 相互情報量は情報の重なりを表す
- KLダイバージェンスは分布のズレを測る
もし興味が湧いてきたら、次は「対数（log）」の計算を復習してみてください。情報量の計算には必ず log が登場します。数式を味方につければ、データの海を自由に泳げるようになりますよ！
セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
