機械学習における記号Lが損失関数か尤度かを見分ける基準と数式上の特徴

こんにちは。ゆうせいです。

機械学習の教科書や学術論文を読んでいると、アルファベットの大文字である L という記号が頻繁に登場します。この記号は、モデルの予測誤差を表す損失関数(Loss Function)を指す場合と、観測データがモデルにどれほど合致しているかを表す尤度(Likelihood)を指す場合の両方で用いられます。文脈や目的を把握していないと混同しやすい記号ですが、数学的な最適化の方向性や前後の記述を確認することで明確に判別できます。それぞれの用語の定義を整理しつつ、記号 L の具体的な見分け方を解説します。

損失関数と尤度の基本的な概念

機械学習では、モデルの性能を測るために異なる2つの視点が用いられます。

損失関数(Loss Function)とは

損失関数とは、モデルが予測した値と実際の正解値との間に生じたずれや誤差の大きさを数値化する関数です。

身近な例として、弓道の練習を想像してください。的の中心(正解)から矢がどれくらい外れた位置(予測)に刺さったかという距離を測る物差しが損失関数に当たります。外れた距離は0に近いほど優秀であるため、機械学習では損失関数の値をできる限り0に近づける、すなわち最小化(Minimization)することを目指します。

尤度(Likelihood)とは

尤度とは、手元にある観測データが、ある統計モデルや仮定から見てどれくらい自然に発生しそうかというもっともらしさを表す指標です。

同じ弓道の例で言えば、刺さった矢の位置を見た審判が「この射手はどれくらいの実力者だと考えるのが一番自然か」を推定する基準が尤度です。もっともらしさは高いほど信頼できるため、機械学習では尤度の値をできる限り大きくする、すなわち最大化(Maximization)することを目指します。

記号Lを見分けるための3つの判別基準

数式や文章中に L が現れた際は、以下の要素を確認することでどちらの意味であるかを特定できます。

1. 最適化の方向記号(min か max か)

数式において L の直前にどのような最適化の記号が置かれているかを確認します。

  • 最小化(min または argmin)と組み合わされている場合:損失関数です。誤差を減らす操作を行うため、最小値を探す記述になります。
  • 最大化(max または argmax)と組み合わされている場合:尤度です。もっともらしさを高める操作を行うため、最大値を探す記述になります。

2. 関数の引数(カッコの中身)の記述形式

L の後ろに続くカッコの中身(引数)の並び順によって、関数の役割を判別できます。

  • 正解ラベル y と予測値 y_hat のペアが書かれている場合:損失関数を表します。例えば、正解と予測の差を計算する文脈です。
  • モデルのパラメータ θ とデータ x が条件付き確率の形式で書かれている場合:尤度を表します。統計学や機械学習では、パラメータ θ を変数としてデータに対するもっともらしさを計算する文脈で使われます。

3. 書体(フォント)の使い分け

印刷物や論文の組版において、表記上の慣例が存在します。

  • カリグラフィー体(筆記体のような形状)の記号が用いられている場合:損失関数として割り当てられるケースが多く見られます。
  • 通常の斜体(イタリック体)の L が用いられている場合:尤度(Likelihood)の頭文字としてそのまま表記される傾向があります。

負の対数尤度による2つの概念の接続

機械学習では、尤度を損失関数として再定義して計算を統一する手法が頻繁に用いられます。

確率の掛け算によって計算される尤度は、数値が極端に小さくなりやすいため、計算を安定させる目的で対数(log)を取った対数尤度が使われます。さらに、最大化問題を最小化問題へ変換するために、対数尤度にマイナス記号を付与します。この処理を施した関数を負の対数尤度(Negative Log Likelihood)と呼びます。

負の対数尤度の基本的な計算式

L(\theta) = - \sum_{i=1}^{n} \log P(x_{i} \vert{} \theta)

尤度をもとに構築した式であっても、マイナスを付けることで「最小化すべき損失関数 L」として扱えるようになります。

損失関数と尤度を使い分ける際の特徴

それぞれの指標を基準としてモデルを評価するアプローチには、計算および理論上の明確な特徴が存在します。

損失関数を基準とする特徴

メリット

  • 平均二乗誤差やクロスエントロピー誤差など、タスクの目的に応じて計算式を柔軟に設計できます。
  • 勾配降下法などの最適化アルゴリズムと相性が良く、深層学習の実装において直感的に適用できます。

デメリット

  • 誤差の数値そのものは相対的な指標であるため、出力された値が確率としての厳密な意味を持たない場合があります。

尤度を基準とする特徴

メリット

  • 確率分布に基づいた厳密な統計モデルを構築でき、最尤推定法などの確立された理論体系をそのまま適用できます。
  • モデルが予測を行う際の不確実性や信頼区間を定量的に評価しやすくなります。

デメリット

  • 複雑なネットワーク構造において確率分布を明示的に設定することが難しく、計算コストが増大する傾向があります。

まとめ

機械学習における記号 L は、最小化を目指す文脈であれば損失関数、最大化を目指す文脈であれば尤度と判断できます。さらに、マイナスを掛けた負の対数尤度のように、尤度を損失関数へ変換して同一の枠組みで扱う手法も広く普及しています。

数式中の記号を正しく読み解くための学習ステップは以下の通りです。

  1. 読み進めている文章の目的が「誤差の最小化」か「もっともらしさの最大化」かを確認します。
  2. 記号 L の周辺にある引数や argmin、argmax といった最適化記号の有無を照合します。
  3. 統計モデルを扱う文脈において、対数変換やマイナス符号の適用によって尤度が損失関数へ変換される導出過程を確認します。

投稿者プロフィール

山崎講師
山崎講師代表取締役
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します!
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。