活性化関数を体験する - アニメーション版
x₁
x₂
?
?
w₁=0.5
w₂=0.5
b=0.0
学習のポイント
- 1. ニューロンの2つの役割
- ニューロンは、まず入力と重みを足し合わせ(線形和)、その結果を活性化関数に通して最終的な出力を決める、という2段階の処理を行っています。この「非線形」な変換が、ニューラルネットワークに複雑な問題を解く能力を与えます。
- 2. 活性化関数は「情報のゲート」
- 活性化関数は、ニューロンに入ってきた信号を「そのまま通すか」「無視するか」「調整して通すか」を決めるゲート(門)のような役割を担っています。これにより、どの情報を次のニューロンに伝えるかを制御します。
- 3. 関数の違いが出力の違いを生む
-
- ステップ関数: ONかOFFかの完全なスイッチ。古典的なモデルですが、微分ができないため現代の深層学習ではあまり使われません。
- シグモイド関数: 出力を0から1の間の「確率」のような値に押し込めます。信号の強さを滑らかに表現できますが、勾配消失問題という課題もあります。
- ReLU: 計算が非常に高速で、現代の深層学習で最も広く使われている関数です。入力がプラスならそのまま通し、マイナスなら完全に無視(0に)します。