バイナリ交差エントロピーの謎を解く!AIが「AかBか」を決める評価基準

こんにちは。ゆうせいです。

前回の多クラス分類に続いて、今回はもっとシンプルな、でも奥が深い「2値分類」の世界を覗いてみましょう。

「これはスパムメールか、そうでないか」「この画像は猫か、猫ではないか」といった、イエスかノーかの2択を迫られる場面で活躍するのが、バイナリ交差エントロピーです。

AIが2つの選択肢の間でどのように悩み、そしてどのように正解へと導かれるのか、その舞台裏を一緒に探検してみませんか。

2値交差エントロピーは「究極の2択テスト」

バイナリ交差エントロピーとは、AIの出した答えが「正解(1)」か「不正解(0)」のどちらかにどれだけ近いかを測る物差しです。

2値分類では、出力される数字は 0 から 1 の間の「確率」として表現されます。

例えば、AIが「このメールがスパムである確率は 0.8 です」と答えたとします。

もし本当にスパム(正解 = 1)なら、AIは優秀ですね。

でも、もしそれが大事な仕事のメール(正解 = 0)だったら、AIは大失敗ということになります。

この「予想した確率」と「現実の正誤」のズレを、一滴の無駄もなく計算するのがこの手法の凄さです。

あなたは、白黒はっきりつけたいときに、どのような基準で物事を判断していますか。

数式の仕組みを解剖しよう

それでは、バイナリ交差エントロピーの数式を見てみましょう。

多クラスのときよりも少し複雑に見えるかもしれませんが、実は「正解のとき」と「不正解のとき」の2つのパターンが合体しているだけなのです。

L = - ( y \times \log(p) + ( 1 - y ) \times \log(1 - p) )

この式を、2つのケースに分けて考えてみましょう。

ケース1:正解が y = 1 (スパムである)のとき

式に y = 1 を代入すると、後半の ( 1 - 1 ) \times \log(1 - p) の部分は 0 になって消えてしまいます。

残るのは - \log(p) だけです。

つまり、AIが予測した確率 p が 1 に近ければ損失は小さく、 0 に近ければ損失は無限に大きくなります。

ケース2:正解が y = 0 (スパムではない)のとき

今度は y = 0 を代入してみましょう。

前半の 0 \times \log(p) が消えて、後半の - \log(1 - p) だけが残ります。

この場合、AIが「スパムである確率 p 」を小さく(つまり 0 に近く)見積もるほど、 1 - p は 1 に近づき、損失は小さくなります。

このように、正解が 1 のときも 0 のときも、たった一つの式で「正解から遠ざかるほど厳しく罰する」ことができるのです。

これって、すごくスマートな設計だと思いませんか。

メリットとデメリット

メリット

  • 勾配が計算しやすい:数学的に非常に扱いやすく、AIが学習する際の手がかり(勾配)がはっきりと得られます。
  • 確率的な解釈:結果が 0.8 と出れば「 80 % の確率でスパム」と直感的に理解できるのが強みです。

デメリット

  • データの偏りに弱い:例えば「100通中99通が正常なメール」というデータで学習させると、AIが常に「正常」と答えるだけで高い精度が出てしまい、正しく学習が進まないことがあります。
  • 完璧主義すぎる:予測が 0 や 1 に極端に張り付くと、わずかな変化で損失が激変し、学習が不安定になることがあります。

今後の学習の指針

まずは、この数式が「 1 のときは 1 に、 0 のときは 0 に引き寄せようとする力」だとイメージしてください。

次は、このバイナリ交差エントロピーと相性抜群の「シグモイド関数」について調べてみるのがおすすめです。

なぜ出力が必ず 0 から 1 の間に収まるのか、その魔法の正体が分かりますよ。

2値分類をマスターすれば、世の中の多くの問題は解決できると言っても過言ではありません。

もっと複雑なデータ、例えば「1」が極端に少ない場合にどう対処するか(不均衡データの扱い)についても興味がありますか。

セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。

投稿者プロフィール

山崎講師
山崎講師代表取締役
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します!
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。