多クラス交差エントロピーの正体を暴く!AIが「正解」を選ぶ仕組み

こんにちは。ゆうせいです。

AIが犬や猫、あるいはパンダの画像を見て「これはパンダだ!」と判断するとき、その裏側ではどんな計算が行われているか知っていますか。

実は、AIは直感で選んでいるのではなく、厳密な数学のルールに従って「正解とのズレ」を計算しているのです。

今回は、多クラス分類の要とも言える多クラス交差エントロピーについて、その数式を世界一分かりやすく解説します。

数式アレルギーの方も安心してください。

身近な例えを使えば、意外とすんなり理解できるはずですよ。

多クラス交差エントロピーは「理想と現実のギャップ」

多クラス交差エントロピーとは、AIが予測した結果が、本当の答え(正解ラベル)からどれくらい離れているかを数値化する指標です。

専門用語ではこれを損失関数と呼びます。

例えば、AIに「カレー」「ラーメン」「牛丼」の3択クイズを出したとしましょう。

正解が「カレー」のとき、AIが自信満々に「カレーです!」と答えればギャップは小さくなります。

逆に「ラーメンかな……」と迷えば迷うほど、ギャップは大きくなります。

このギャップを数字で表したものが、交差エントロピーなのです。

あなたは、自分の予想が外れたときに受けるショックの大きさを想像できますか。

そのショックの大きさを計算するのが、この数式の役割です。

数式を解剖してみよう

それでは、実際の数式を見てみましょう。

一見難しそうですが、一つひとつのパーツに分ければ怖くありません。

L = - \sum_{i=1}^{n} y_i \times \log(p_i)

この式に登場するメンバーを紹介します。

y_i (正解ラベル)

これは、本当の答えを表します。

多クラス分類では、ワンホットエンコーディングという形式がよく使われます。

「カレー」が正解なら、y = [1, 0, 0] というように、正解の場所だけが 1 で、他は 0 になります。

p_i (予測確率)

これは、AIが「それぞれの選択肢である確率」を予想した数字です。

例えば、AIが「カレーである確率は 0.7 、ラーメンは 0.2 、牛丼は 0.1 」と予想したなら、p = [0.7, 0.2, 0.1] となります。

\log (対数)

ここが一番のポイントです。

なぜ \log を使うのでしょうか。

それは、AIの予測 p_i が正解の 1 に近づくほど \log(p_i) は 0 に近づき、逆に 0 に近づくほどマイナス無限大へと急激に値が変化するからです。

つまり、大外れしたときに「こっぴどく叱る」ための仕組みなのです。

実際に計算してみよう!

先ほどの「カレー」の例で計算してみましょう。

  1. 正解 y[1, 0, 0]
  2. 予測 p[0.7, 0.2, 0.1]

式に当てはめると、 0 の部分は掛け算で消えてしまうので、正解の場所だけが残ります。

L = - ( 1 \times \log(0.7) + 0 \times \log(0.2) + 0 \times \log(0.1) )

L = - \log(0.7)

この計算結果が、AIが反省すべき「損失」となります。

もし予測が 0.9 だったら、損失はもっと小さくなります。

逆に 0.1 だったら、損失は跳ね上がります。

このように、正解の確率を高く見積もれば褒められ、低く見積もれば厳しく罰せられる。

この仕組みによって、AIは少しずつ賢くなっていくのです。

メリットとデメリット

メリット

  • 学習が速い:大外れしたときに大きなペナルティを与えるため、効率よく修正が行われます。
  • 確率論的に正しい:出力が 0 から 1 の範囲に収まるため、人間にとっても理解しやすい判断基準になります。

デメリット

  • 外れ値に敏感:正解が 1 なのに予測が 0 に極端に近い場合、計算結果が非常に大きな値になり、学習が不安定になることがあります。
  • 計算コスト:クラス数が数万、数十万と増えると、計算量が増大します。

今後の学習の指針

まずは、この数式が「正解の場所の確率をいかに 1 に近づけるか」を競っているゲームだと理解してください。

次は、この交差エントロピーとセットで使われるソフトマックス関数について学んでみるのが良いでしょう。

なぜ出力の合計が 1 になるのか、その秘密が隠されています。

数式の意味が見えてくると、AIのプログラムがただの記号の羅列ではなく、血の通った「教え」に見えてきませんか。

セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。

投稿者プロフィール

山崎講師
山崎講師代表取締役
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します!
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。