機械学習の基礎となる活性化関数：奇関数と偶関数の由来から学ぶ選択基準
山崎講師こんにちは。ゆうせいです。
機械学習やディープラーニングの仕組みを学ぶ際、活性化関数という専門用語が登場します。活性化関数の性質を深く理解するためには、数学の基礎である奇関数と偶関数の違いを知ることが役立ちます。本記事では、奇関数と偶関数の名前の由来から説き起こし、それぞれの性質が活性化関数にどのような影響を与えるのかを解説します。
奇関数と偶関数の名前の由来と見分け方
偶関数とは
偶関数という名前は、変数の累乗が偶数（2や4など）である多項式に由来しています。代表的な例として、変数を2乗する関数（y = x^2）があります。
偶関数は、グラフの縦軸（y軸）を境にして左右対称になるという性質を持っています。鏡を縦軸の上に置いたとき、右側の図形と左側に映った図形がぴったり重なる状態をイメージしてください。数式においては、変数にマイナスの値を入れても元の値と同じ結果になる（f(-x) = f(x)）と定義されます。
奇関数とは
奇関数という名前は、変数の累乗が奇数（1や3など）である多項式に由来しています。代表的な例として、変数を3乗する関数（y = x^3）があります。
奇関数は、原点を中心にして180度回転させると元の図形と重なるという性質を持っています。車のハンドルをまっすぐな状態から180度回して逆さまにしても、ハンドルの外枠の円の形が変わらない状態をイメージしてください。数式においては、変数にマイナスの値を入れると、出力値もマイナスになる（f(-x) = -f(x)）と定義されます。
活性化関数における奇関数の役割
活性化関数とは
ニューラルネットワークにおける活性化関数とは、入力されたデータに対してどのような信号を出力するかを決定する数学的な仕組みです。水道のパイプにかかる水圧（入力値）に応じて、実際に次のパイプへ流す水の量（出力値）を決定するバルブのような役割を果たします。バルブの種類を変えることで、水量を調整し、複雑な水流のネットワーク全体を制御します。
奇関数の性質を持つtanh関数
ニューラルネットワークの構成においてよく使用されてきた活性化関数の一つに、tanh（ハイパボリックタンジェント）関数があります。tanh関数は奇関数の性質を持っており、入力値が0のときに出力値も0になります。入力値がプラス方向に大きくなると出力値は1に近づき、入力値がマイナス方向に大きくなると出力値はマイナス1に近づきます。
奇関数型活性化関数のメリットとデメリット
活性化関数として奇関数であるtanh関数を採用する場合のメリットとデメリットをまとめます。
メリット
- 出力値の中心が0になるため、次の層へ伝わるデータの偏りが小さくなります。データの偏りが小さい状態では、ニューラルネットワークの学習（パラメータの最適化）が円滑に進む傾向があります。
- プラスとマイナスの両方の値を出力できるため、信号の増加と減少の両方を表現できます。
デメリット
- 入力値が極端に大きい、あるいは極端に小さい場合、出力値が限界である1やマイナス1に張り付きます。出力値が限界に達すると、学習に必要な情報（勾配）が次の層へ伝わらなくなり、学習の進行が停止してしまう問題が発生します。
活性化関数の学習ステップ
機械学習の基礎を習得するための学習手順を以下に示します。
- 変数の累乗計算や関数のグラフの形といった、基礎的な数学の性質を把握します。
- tanh関数など、代表的な活性化関数の入力と出力の関係を数式のレベルで確認します。
- 採用する活性化関数が持つメリットとデメリットを比較し、構築するシステムに適した関数を選択する基準を学びます。
セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
