KLダイバージェンスとJSダイバージェンスの違いとは？研修講師向け解説

2026年8月26日 最終更新日時 : 2026年8月26日 山崎講師山崎講師

こんにちは。ゆうせいです。

機械学習や情報理論の講義を担当する際、受講生から確率分布の近さを測る指標について質問を受けることがあります。代表的な指標としてカルバック・ライブラー情報量（KLダイバージェンス）とイェンセン・シャノン情報量（JSダイバージェンス）が挙げられます。受講生に両者の違いをわかりやすく伝えるための要点を整理して解説します。

確率分布間の距離を測る指標の基本概念

確率分布の違いを定量化する計算手法を理解することは、機械学習モデルの損失関数などを扱う上で不可欠です。

KLダイバージェンスの概要と比喩

KLダイバージェンスは、ある基準となる確率分布Pに対して、別の確率分布Qがどれくらい異なっているかを測る尺度です。

高校生向けの比喩として、天気予報の的中率に例えることができます。

実際の毎日の天気の割合（確率分布P）に対して、事前に作成した予報モデル（確率分布Q）を当てはめたとき、予報が外れることでどれだけ追加の情報や説明が必要になるかを表した数値がKLダイバージェンスです。

離散確率分布におけるKLダイバージェンスの定義式は以下の通りです。

D_{KL}(P \parallel Q) = \sum_{x} P(x) \log \left( \frac{P(x)}{Q(x)} \right)

JSダイバージェンスの概要と比喩

JSダイバージェンスは、KLダイバージェンスを改良し、2つの確率分布の対称性を確保した指標です。

比喩としては、2つの異なるクラスの試験の点数分布を比較する状況に例えられます。

クラスAの分布とクラスBの分布を直接比べるのではなく、まず2つのクラスを合わせた平均の分布Mを作成します。そして、クラスAと平均Mの違い、クラスBと平均Mの違いをそれぞれ測定して足し合わせたものがJSダイバージェンスです。

JSダイバージェンスの定義式は、平均分布 M = \frac{1}{2}(P + Q) を用いて以下のように表されます。

D_{JS}(P \parallel Q) = \frac{1}{2} D_{KL}(P \parallel M) + \frac{1}{2} D_{KL}(Q \parallel M)

KLダイバージェンスとJSダイバージェンスの主な違い

研修の講義では、以下の3つの観点から違いを説明すると受講生の理解が深まります。

対称性の有無

  • KLダイバージェンスは非対称です。Pから見たQの距離と、Qから見たPの距離は一致しません。数学的な距離の公理を満たさないため、距離ではなくダイバージェンス（情報量・乖離度）と呼ばれます。
  • JSダイバージェンスは対称です。PとQの順序を入れ替えても値は変わりません。

値の範囲（有界性）

  • KLダイバージェンスの値域は0から無限大です。確率分布Qにおいて確率が0である箇所に確率分布Pが存在する場合、計算結果は無限大へ発散します。
  • JSダイバージェンスの値域は、底を2とする対数を用いた場合、0から1の範囲に収まります。常に有限の値をとるため、計算の安定性が高くなります。

ゼロ割りの発生と安定性

  • KLダイバージェンスは、分母となるQ(x)が0のときに未定義または無限大となります。
  • JSダイバージェンスは、分母に平均分布M(x)を用いるため、P(x)とQ(x)の双方が0でない限り分母が0にならず、数値計算上の破綻が起きにくい構造を持っています。

各指標のメリットとデメリット

講義で各手法の選択基準を提示する際は、以下の特徴を提示してください。

KLダイバージェンスの特徴

  • メリット：情報理論におけるエントロピーや相互情報量と直結しており、理論的な導出や数式の展開が容易です。
  • デメリット：対称性がないため直感的な距離として扱えず、分布の台（確率が0でない領域）が一致しない場合に計算が発散します。

JSダイバージェンスの特徴

  • メリット：対称性を持ち、値が一定範囲に収まるため、Generative Adversarial Networks（GAN）の目的関数など、最適化計算において挙動が安定します。
  • デメリット：2つの分布の平均分布を経由するため、数式の背景にある情報理論的な解釈がKLダイバージェンスに比べて間接的になります。

まとめ

研修で両者の違いを解説する際は、以下の順序で説明を進めると受講生が段階的に理解しやすくなります。

  1. 確率分布の違いを数値化する必要性と、基準と近似というKLダイバージェンスの基本構造を説明します。
  2. KLダイバージェンスの「非対称性」と「無限大への発散」という性質を確認します。
  3. その性質を解決するために、平均分布との差を計算するJSダイバージェンスが導入された経緯を数式とともに解説します。
  4. 機械学習の実装（GANや変分オートエンコーダなど）において、どちらの指標がどのような理由で採用されているかを紐解きます。

セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。

投稿者プロフィール

山崎講師
山崎講師代表取締役
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
対象読者
新人エンジニア研修講師
前の記事
対数の公式まとめ 研修講師のための解説と教え方New!!
2026年8月26日