ロジスティック回帰の公式と覚え方:シグモイド関数による確率予測を解説

こんにちは。ゆうせいです。

機械学習において、ある事象が起こるか起こらないかを判定する分類問題があります。例えば、メールが迷惑メールかどうかを判定したり、明日の天気が雨になるかを予測したりする場面です。こうした判定を行う際に広く用いられる手法がロジスティック回帰です。今回は、基礎知識を持たない方に向け、ロジスティック回帰の仕組み、公式の覚え方、そしてメリットやデメリットを解説します。

ロジスティック回帰とは何か

ロジスティック回帰は、幾つかの要因を基に「ある事象が起きる確率」を0から1の範囲で予測する手法です。名前に回帰という言葉が含まれていますが、分類の目的で利用されます。

高校の部活動を例に考えてみます。試合で勝つ可能性を予想するために、日々の練習時間、チームの過去の勝率、選手のコンディションといった複数の要素を合計して総合的な得点を計算したとします。得点が高ければ勝つ可能性が高く、低ければ勝つ可能性は低くなります。

しかし、単純に足し算をしただけでは、合計得点が100やマイナス50といった極端な数値になり、確率としての扱いが困難になります。確率は必ず0パーセントから100パーセント、数値で言えば0から1の間に収まる必要があります。そこで、計算した合計得点を「0から1の間に綺麗に押し込める特殊な計算」を通します。この一連の仕組みがロジスティック回帰です。

ロジスティック回帰の公式と覚え方

ロジスティック回帰の公式は、2つの段階に分けて理解すると把握しやすくなります。

まず、複数の入力データと重みの掛け算を足し合わせます。これを統計学では線形結合と呼びます。入力データを x_1, x_2, ..., x_n とし、それぞれの重要度を示す重みを w_1, w_2, ..., w_n 、基準となる切片を b と置くと、総合得点 z は次の等式で表せます。

z = w_1 x_1 + w_2 x_2 + ... + w_n x_n + b

次に、得られた数値 z を、値を0から1の間に変換するシグモイド関数と呼ばれる式に投入します。予測確率を p と置くと、全体の公式は次の通りです。

p = \frac{1}{1 + e^{-z}}

この2段階を統合すると、次の数式が得られます。

p = \frac{1}{1 + e^{-(w_1 x_1 + w_2 x_2 + \dots + w_n x_n + b)}}

覚え方の手順

公式を記憶する際は、処理の流れをそのまま辿ります。

  1. 線形結合を計算する:各データに重みを掛けて足し合わせ、合計値 z を作ります。
  2. シグモイド関数に通す:合計値 z をシグモイド関数の変数部分に配置し、0から1の範囲へ数値を変換します。

すなわち、覚え方の基本は「線形結合をシグモイドに通す」という1文に集約されます。直線の計算式を作り、それを滑らかなS字型の曲線を描くシグモイド関数というフィルターに通して確率へと変換していると捉えると、式の構造を正確に導き出せます。

ロジスティック回帰のメリットとデメリット

ロジスティック回帰には、計算の性質に基づく特徴があります。

メリット

  • 出力結果を確率として解釈できる:出力値が常に0から1の範囲に収まるため、予測結果の確からしさをパーセンテージとして直接把握できます。
  • 計算コストが低い:アルゴリズムの構造が簡潔であり、大量のデータに対しても高速に学習と予測を実行できます。
  • 要因の影響度を追究しやすい:各入力データに掛かる重みの正負や数値の大きさを見ることで、どの要因が結果に対してプラスまたはマイナスに強く寄与したかを確認できます。

デメリット

  • 直線で分けられない境界に対応できない:入力の線形結合を基盤としているため、データ同士の関係性が複雑に入り組んでいる場合、高い精度を出すことが困難になります。
  • 外れ値やデータの偏りに影響を受ける:極端な数値が含まれていたり、分類したいデータの比率が偏っていたりすると、推定される重みの精度が低下します。

まとめ

ロジスティック回帰は、複数の要素を掛け合わせて足す線形結合を求め、その結果を0から1の間に数値を変換するシグモイド関数へ通すことで確率を算出します。「線形結合をシグモイドに通す」という処理の順番を整理しておくことで、数式の成り立ちを迷わず把握できます。

ロジスティック回帰の基本構造を理解した後は、モデルが正しい予測を行えているかを評価するために用いられる「交差エントロピー誤差(対数損失)」の仕組みを確認することをお勧めします。さらに、予測の正解率や再現率を測定する「混同行列」の読み方を学ぶことで、分類モデルの設計と性能評価に関する基礎知識を体系的に深めることができます。

投稿者プロフィール

山崎講師
山崎講師代表取締役
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します!
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。