クロード・シャノンの情報量の定義を教えて下さい
クロード・シャノンによって提案された情報量の定義は、通信理論の中心的な概念であり、情報の不確かさまたは予測可能性を表す尺度です。具体的には、情報量は情報の確率的な予測によって生じる情報の減少量を表します。
情報量は、あるイベントが発生したときに得られる情報の量を表す非負の数値です。イベントが確実に発生する場合、情報量は最小となります。逆に、予測が困難なイベントが発生する場合、情報量は最大となります。
クロード・シャノンは、情報量を確率論の観点から定式化しました。情報量(I)は、イベントが発生する確率(P)の対数の負数として表されます。具体的には、以下の式で表されます:
I = -log2(P)
ここで、底が2の対数を使用しています。この式では、確率Pが1に近づくほど情報量は0に近づき、確率Pが0に近づくほど情報量は無限大に増大します。
つまり情報量の豊かさとは、どれだけ"!"が含まれているかによるということです。驚きのある情報は情報量が大きい、驚きのない情報は情報量が少ないということです。このことは私たちの実感とも符合するのではないでしょうか。
この情報量の定義は、情報理論の中で情報の圧縮や伝送などの応用に広く活用されています。
投稿者プロフィール

- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します!
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
最新の投稿
山崎講師2026年11月16日線形代数の歴史を物語で学ぶ|連立方程式から行列、固有値、特異値分解、GPU、AIによる行列積の高速化まで(E資格対応)
山崎講師2026年11月16日確率・統計の歴史を物語で学ぶ|賭けの問題からベイズ則、最尤推定、エントロピー、MAP推定、不確実性の定量化まで(E資格対応)
山崎講師2026年11月15日機械学習の歴史を物語で学ぶ|最小二乗法からパーセプトロン、決定木、SVM、ランダムフォレスト、勾配ブースティング、表形式基盤モデルまで
山崎講師2026年11月15日オプティマイザの歴史を物語で学ぶ|勾配降下法からモーメンタム、AdaGrad、RMSProp、Adam、AdamW、Muonまで
