勾配降下法 - 部分最適解の罠

デモの解説

このデモは、勾配降下法が「部分最適解」に陥る様子や、それを克服する工夫を学ぶためのツールです。

使い方

1. オプティマイザ選択: 「SGD」「Momentum」「Adam」から選択します。
2. 開始地点を決める: グラフ上の好きな場所をクリックします。
3. 学習率を調整する: 「一歩の大きさ」を調整します。
4. 開始/リセット: ボタンを押してボールを転がします。

実験してみよう！

1. SGD

左側の山からスタートすると、ボールは近くの浅い谷（部分最適解）で止まってしまいます。

2. Momentum

「慣性」の力で浅い谷を乗り越え、より深い谷（大域的最適解）にたどり着くことができます。

3. Adam

慣性に加え、学習率を自動調整する能力を持ちます。谷を乗り越えつつ、谷底では速度を落として正確に収束する、最も賢い動きを見せます。