初心者向けに解説するニューラルネットワークの活性化関数と系統図の分類
山崎講師
こんにちは。ゆうせいです。
人工知能やディープラーニングを学び始めると最初に出会う基礎概念の一つが、活性化関数です。活性化関数は、人間の脳にある神経細胞が次の細胞へと信号を伝える仕組みを計算機上で模倣したものです。
例えるなら、活性化関数は電気のスイッチや水門のような役割を持っています。入ってきた信号をそのまま素通りさせるのか、ある強さを超えたらオンにするのか、あるいは適切な強さに変換して送り出すのかを決定します。
系統図に示されている分類に沿って、各グループの特徴や長所、短所を順序立てて整理していきます。
活性化関数の大枠の分類
活性化関数は、大きく分けると線形系と非線形系の二種類に分かれます。
線形系は、入力された数値をそのまま出力する方式です。計算が単純である反面、何層重ねても数式上は一層の計算と変わらない状態になり、複雑なパターンの学習が困難になります。
非線形系は、入力を曲げたり特定の範囲に収めたりする変換を加える方式です。非線形変換を挟むことで、複雑な画像や音声などのデータを表現できるようになります。
系統図における各関数の特徴
系統図に整理されている五つの分類について、役割と代表的な関数を挙げます。
1. 線形系（出力をそのまま通す）
- 恒等関数：入力された値をそのまま出力します。
- メリット：計算量が極めて少なく、連続する数値を予測する回帰問題の出力層に適しています。
- デメリット：中間層に何層用いても表現力が向上しません。
2. しきい値系（0と1を切り替える）
- ステップ関数：ある基準値（しきい値）を超えると1、下回ると0を出力します。部屋の照明スイッチのように白黒をはっきり分ける働きをします。
- メリット：出力が0か1に明確に分かれるため、単純な二値判定の仕組みを把握しやすいです。
- デメリット：微分値がほぼ全ての地点で0になるため、誤差逆伝播法を用いて学習を進めることができません。
3. シグモイド系（滑らかに圧縮する）
- シグモイド関数：入力を0から1の範囲に変換します。数式は次の通りです。
- tanh：入力を-1から1の範囲に変換し、中心が0になるように調整されています。
- Softsign：入力を緩やかに圧縮する関数です。
- メリット：出力が一定範囲に収まり、確率値として扱いやすい利点があります。
- デメリット：入力値が極端に大きくなったり小さくなったりすると勾配がほぼ0になり、学習が進まなくなる勾配消失問題が発生します。
4. ReLU系（深層学習で標準的に使われる）
- ReLU：入力が0以下なら0、0を超えたらそのまま通します。
- 派生関数：Leaky ReLU、PReLU、ELU、GELU、Swish、Mishなどがあります。
- メリット：0を超える領域で勾配が常に1であるため、層を深くしても勾配消失が起きにくく、計算が高速です。
- デメリット：入力が負の領域に入り続けると出力が0のまま固定され、重みが更新されなくなる現象（Dying ReLU）が起きることがあります。
5. その他（特殊な用途・出力層用）
- Softmax：複数の出力の合計が1になるように変換し、各選択肢の確率を算出します。
- Maxout：複数の線形関数のうち最大値を選択する手法です。
- メリット：複数の選択肢から確率を求める多クラス分類において扱いやすい出力を得られます。
- デメリット：指数計算を含むため、候補の数が増えると計算負荷が高くなります。
実際のモデルでの使い分け
系統図の下部に示されている使い分けの基準は、ニューラルネットワークの設計における基本指針です。
- 中間層（特徴を抽出する層）：計算効率と勾配消失の防止を両立するため、ReLU系が選択されます。
- 二値分類の出力層（合否や猫か犬かの判定）：確率として解釈しやすい0から1の値を出力するシグモイド関数が適しています。
- 多クラス分類の出力層（手書き数字0から9の識別など）：全体の合計を100%として各クラスの確率を配分するSoftmax関数を用います。
まとめ
活性化関数は、ニューラルネットワークが複雑な現象を学習するために欠かせない変換機能を持っています。それぞれの関数には計算の軽さや勾配の消失しにくさ、出力の解釈のしやすさといった異なる性質が存在します。
理解を深めるための次のステップとして、まずはReLUを用いた中間層の構成と、Softmaxを用いた出力層の構成を手元のコードや計算フレームワークで実際に動かし、出力値の変化を確かめる学習へ進むことを推奨します。
セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
