KLダイバージェンス・インタラクティブアニメーション

解説

KLダイバージェンスは、2つの確率分布の「違い」を測る指標です。

• P(x) (青線): 「真の分布」や「正解」を表します。この分布は固定です。
• Q(x) (赤線): 私たちが作った「予測分布」です。スライダーで形を変えられます。

ポイント

1. 値が0に近づくほど似ている:
   予測分布Q(x)が真の分布P(x)に近づくほど、KLダイバージェンスの値は0に近づきます。完全に一致すると0になります。
2. 距離ではない (非対称):
   D_KL(P || Q) と D_KL(Q || P) の値は異なります。これはKLダイバージェンスが通常の「距離」とは違う性質（非対称性）を持つことを意味します。
3. P(x)が高い場所でのズレに敏感:
   D_KL(P || Q)は、P(x)が大きい（＝重要な）領域でQ(x)がずれていると、値が非常に大きくなります。