クロード・シャノンの情報量の定義を教えて下さい

クロード・シャノンによって提案された情報量の定義は、通信理論の中心的な概念であり、情報の不確かさまたは予測可能性を表す尺度です。具体的には、情報量は情報の確率的な予測によって生じる情報の減少量を表します。

情報量は、あるイベントが発生したときに得られる情報の量を表す非負の数値です。イベントが確実に発生する場合、情報量は最小となります。逆に、予測が困難なイベントが発生する場合、情報量は最大となります。

クロード・シャノンは、情報量を確率論の観点から定式化しました。情報量(I)は、イベントが発生する確率(P)の対数の負数として表されます。具体的には、以下の式で表されます：

ここで、底が2の対数を使用しています。この式では、確率Pが1に近づくほど情報量は0に近づき、確率Pが0に近づくほど情報量は無限大に増大します。

この情報量の定義は、情報理論の中で情報の圧縮や伝送などの応用に広く活用されています。