機械学習におけるヒンジ損失とは：名前の由来と仕組みを解説
山崎講師こんにちは。ゆうせいです。
機械学習の分類モデルを学習させる際、損失関数という概念が登場します。本記事では、サポートベクターマシンなどで用いられるヒンジ損失に焦点を当て、名前の由来と基本的な仕組みについて解説します。
ヒンジ損失の名前の由来
ヒンジ損失の「ヒンジ」は、日本語で「蝶番（ちょうつがい）」を意味します。蝶番は、ドアと枠をつなぎ、ドアを開閉できるようにする金属製の部品です。
ヒンジ損失の計算結果をグラフに描画すると、ある地点までは斜めに右下がりで直線が続き、特定の地点に到達した瞬間に水平な直線へと変化します。斜めの線と水平な線が交わる部分で折れ曲がる形状が、少し開いたドアの蝶番の形に似ていることから、ヒンジ損失と名付けられました。
関連する専門用語の解説
ヒンジ損失を理解するために必要な専門用語を解説します。
損失関数
損失関数とは、人工知能の予測が正解からどの程度ずれているかを測る指標です。
アーチェリーの的当てを想像してください。的の中心から矢が外れるほど、失点が増えます。的の中心から矢が刺さった場所までの距離を計算してペナルティを決めるルールが、損失関数に相当します。
サポートベクターマシン
サポートベクターマシンは、異なる複数のデータを分類するための境界線を引く計算手法です。
グラウンドで2つのチームが陣取りをしている状態を思い浮かべてください。両チームの間に、お互いが最も離れるような一定の安全地帯を確保しながら、まっすぐな境界線を引く作業がサポートベクターマシンの役割です。
マージン
マージンとは、サポートベクターマシンが引いた境界線と、最も境界線に近いデータとの間の余白（安全地帯）を指します。
ヒンジ損失の数式
ヒンジ損失全体の計算式は以下のようになります。ここで、nはデータの総数、yは正解のラベル、f(x)はモデルの予測値を表します。
上記の数式において、予測値と正解ラベルを掛け合わせた値が1以上であれば、損失は0になります。
ヒンジ損失のメリットとデメリット
ヒンジ損失を使用することには、以下の特徴があります。
メリット
- 予測がマージン（安全地帯）の外側で正解している場合、損失が完全に0として扱われます。計算の対象から外れるデータが多くなるため、計算処理の負荷が抑えられます。
- 境界線付近のデータのみを基準にして境界線を引くため、未知の新しいデータに対しても分類の精度が落ちにくい傾向があります。
デメリット
- グラフが折れ曲がる点（ヒンジ部分）において、数学的な微分が不可能になります。最適化の計算処理を行う際には、劣微分と呼ばれる特殊な計算手法を用いる必要があります。
- 境界線から極端に離れた位置にある異常値（外れ値）のデータが混ざっている場合、異常値の影響を受けて境界線がずれる傾向があります。
今後の学習ステップ
機械学習の損失関数についての理解を深めるため、以下の順番で学習を進める手順を推奨します。
- 分類問題と回帰問題の違いを整理し、それぞれの代表的なアルゴリズムを把握する
- サポートベクターマシンのマージン最大化という概念を、図に描き起こして視覚的に理解する
- ヒンジ損失以外の損失関数（交差エントロピー誤差や二乗誤差など）の数式を確認し、用途の違いを比較する
- 実際にプログラミング言語を用いて、単純なデータセットに対しヒンジ損失を用いた分類モデルを構築する
各項目を順番に確認することで、分類アルゴリズムの仕組みを体系的に習得できます。
セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
