オッズとロジット変換の関係：確率を線形モデルで扱う仕組み
山崎講師こんにちは。ゆうせいです。
機械学習において、分類問題の予測結果を計算する際によく用いられる概念にオッズとロジット変換があります。ロジスティック回帰などのアルゴリズムの仕組みを把握する上で、各々の役割を理解することは避けて通れません。ここでは、新人エンジニア向けに各用語の定義と変換の目的を解説します。
オッズ（Odds）とは何か
オッズとは、ある事象が起こる確率と、起こらない確率の比率を表す指標です。事象の起こる確率を p とすると、オッズは以下の数式で算出されます。
確率 p が単独で事象の起きやすさを0から1の範囲で示すのに対し、オッズは失敗に対して成功が何倍起きやすいかを示します。
高校生でも理解できる例として、文化祭のくじ引きを考えます。箱の中に当たりくじが2本、はずれくじが8本入っているとします。このとき、当たりを引く確率 p は 10分の2 で 0.2 となります。
一方、オッズは当たりの数をはずれの数で割った比率になります。式に当てはめると、0.2 を 0.8 で割るため、オッズは 0.25 となります。オッズの値は、確率 p が1に近づくにつれて無限大に大きくなり、p が0に近づくにつれて0に近づく性質を持ちます。
ロジット変換（Logit Transformation）とは何か
ロジット変換とは、算出したオッズに対して自然対数（底をネイピア数 e とする対数）をとる計算操作を指します。数式としては以下のように記述されます。
確率 p の値域は0から1までであり、オッズの値域は0から正の無限大までです。オッズに対して対数をとる計算により、出力される値の範囲を負の無限大から正の無限大まで広げることができます。確率 p が 0.5 のとき、オッズは1となり、自然対数をとると0になります。確率 p が 0.5 より大きければ正の値、小さければ負の値を出力します。
変換を行う理由とメリット・デメリット
機械学習における線形回帰モデルは、入力値に対して負の無限大から正の無限大までの連続値を出力します。しかし、確率を予測したい場合、出力は0から1の範囲に収まる必要があります。
オッズをロジット変換することで、0から1の範囲しかとらない確率を、負の無限大から正の無限大の範囲を持つ指標に拡張できます。変換した指標を線形モデルの出力と結びつけることが、分類アルゴリズムにおける基礎的な仕組みです。
メリット
- 確率という上限と下限のある値を、制約のない連続値として扱えるようになります。
- 単純な一次方程式を用いて、分類問題の予測モデルを構築できるようになります。
デメリット
- 計算結果の数値がそのまま確率を表すわけではないため、直感的な解釈が難しくなります。
- 最終的に確率の数値を得るためには、ロジット変換の逆関数であるシグモイド関数を用いて、再度数値を0から1の範囲に戻す計算工程が必要になります。
学習のステップ
関連技術を習得するための手順を示します。
- 確率 p の概念と、オッズを求める計算式を自力で導出できるようにする。
- 自然対数の性質を復習し、オッズがロジット変換によってどのような値の範囲に変化するかを確認する。
- ロジット変換の逆関数であるシグモイド関数の数式を確認し、線形モデルの出力が確率に変換される流れを実装する。
上記のステップに沿って学習を進めることで、機械学習のアルゴリズムの内部構造をより深く理解できるようになります。
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
