クロード・シャノンの情報量の定義を教えて下さい

2023年5月28日 2024年6月25日山崎講師

山崎講師

クロード・シャノンによって提案された情報量の定義は、通信理論の中心的な概念であり、情報の不確かさまたは予測可能性を表す尺度です。具体的には、情報量は情報の確率的な予測によって生じる情報の減少量を表します。

情報量は、あるイベントが発生したときに得られる情報の量を表す非負の数値です。イベントが確実に発生する場合、情報量は最小となります。逆に、予測が困難なイベントが発生する場合、情報量は最大となります。

クロード・シャノンは、情報量を確率論の観点から定式化しました。情報量(I)は、イベントが発生する確率(P)の対数の負数として表されます。具体的には、以下の式で表されます：

I = -log2(P)

ここで、底が2の対数を使用しています。この式では、確率Pが1に近づくほど情報量は0に近づき、確率Pが0に近づくほど情報量は無限大に増大します。

つまり情報量の豊かさとは、どれだけ"！"が含まれているかによるということです。驚きのある情報は情報量が大きい、驚きのない情報は情報量が少ないということです。このことは私たちの実感とも符合するのではないでしょうか。

この情報量の定義は、情報理論の中で情報の圧縮や伝送などの応用に広く活用されています。

山崎講師代表取締役

セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。