勾配降下法で積の微分より和の微分が使われる理由と対数尤度の役割
山崎講師こんにちは。ゆうせいです。
機械学習の最適化手法である勾配降下法を学ぶ際、誤差の計算において掛け算ではなく足し算の微分が頻繁に扱われる点に疑問を持つ方は少なくありません。数学的にはどちらも計算可能ですが、コンピュータを用いた数値計算と微分計算の効率化という観点から、明確な理由が存在します。
基礎的な背景と計算上の仕組みについて整理します。
勾配降下法と微分の基本
勾配降下法は、モデルの予測値と正解データのずれを表す損失関数を最小化するために、パラメータを少しずつ更新するアルゴリズムです。パラメータをどの方向にどれだけ動かすべきかを決定するために、関数の傾きである微分（勾配）を計算します。
確率の積と対数変換
機械学習の多くのモデルでは、全体のデータに対する予測の正しさを「各データの確率の掛け算（同時確率）」として表現します。この掛け算で表された関数を尤度（ゆうど）関数と呼びます。
しかし、実際の計算では尤度関数をそのまま微分するのではなく、自然対数を取った対数尤度（たいすうゆうど）関数に変換し、掛け算を足し算に直してから微分を行います。対数の性質によって、積の対数は対数の和に分解されます。
この変換を学校の成績評価に例えてみます。学期末の総合評価を決める際、各科目の点数をすべて掛け算して評価する場合と、各科目の点数を足し算して合計点で評価する場合を想定してください。掛け算で総合点を計算すると、1科目の点数が変動しただけで全体の掛け算すべてを再計算する必要が生じます。一方、足し算であれば、変更があった科目のみを修正するだけで全体の合計や各科目の影響を個別に把握できます。機械学習における和の微分も、これと同様に各データを個別に扱える状態を作っています。
積の微分と和の微分の比較
積の微分と和の微分には、計算の手順と性質に次のような違いがあります。
積の微分の特徴
二つの関数の積を微分する場合、積の微分公式が適用されます。
データ数がn個に増えた場合、ある一つのデータに関するパラメータの変化を求めるだけでも、他のすべてのデータの値を掛け合わせた項を足し合わせる必要があります。
- メリット: 確率の概念を変換せず、元の同時確率の形のまま直接扱うことができます。
- デメリット: データ数が増加するにつれて計算量が爆発的に増大します。また、0から1の間の確率を何千回も掛け合わせることで、数値が極端に小さくなりコンピュータが正確に値を保持できなくなるアンダーフローと呼ばれる現象が発生します。
和の微分の特徴
二つの関数の和を微分する場合、線形性と呼ばれる性質により、それぞれの微分をそのまま足し合わせることができます。
- メリット: 各データ点における誤差の微分を独立して計算し、最後に合計するだけで全体の勾配が求まります。データ全体を一度に処理せず、小分けにして計算するミニバッチ処理（確率的勾配降下法）が容易に適用可能となります。また、微小な確率の掛け算を回避できるため、アンダーフローを防ぐことができます。
- デメリット: 対数変換を適用する前提が必要となるため、対数関数の性質や定義域（値が正であること）への配慮が求められます。
学習の進め方
勾配降下法における計算の工夫を体系的に身につけるための手順を示します。
- 積の微分公式と和の線形性について、数学的な定義式を確認してください。
- 対数関数（log）の性質、特に掛け算が足し算に変換される公式（log(ab) = log a + log b）を復習してください。
- 最尤推定法において、尤度関数から対数尤度関数への変換手順を手計算で追跡してください。
- 確率的勾配降下法（SGD）において、データごとの勾配の和がどのようにパラメータ更新に利用されるかをプログラムまたは数式で確認してください。
セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
