ディープラーニングのパラメーター数計算：全結合層と畳み込み層の具体例
山崎講師こんにちは。ゆうせいです。
ディープラーニングのモデルを構築する際、モデルの規模や必要な計算量を把握するためにパラメーター数の計算が必要になります。本記事では、ディープラーニングにおけるパラメーターの役割と、代表的な層である全結合層および畳み込み層のパラメーター数を導き出す計算式を、具体的な数値を用いて解説します。
パラメーターの役割
ディープラーニングにおけるパラメーターとは、ニューラルネットワークが学習を通じて最適化する数値のことです。パラメーターは主に重みとバイアスの2種類に分かれます。重みは入力データの重要度を調整する数値であり、バイアスは出力の基準値を調整する数値です。
高校の文化祭の出し物を決める会議を想像してください。クラスメイトの意見に対して、過去の提案の信頼度に応じて耳を傾ける度合いを変える基準が重みに相当します。そして、クラスとして確保している基礎予算の底上げ分がバイアスに相当します。ディープラーニングのモデルは、大量のデータから重みとバイアスの最適な組み合わせを探し出します。
全結合層の計算式と具体例
全結合層は、前の層のすべてのニューロンが次の層のすべてのニューロンと結合している構造を指します。
入力層のノード数をN、出力層のノード数をMと設定します。
各入力ノードから各出力ノードへ結合があるため、重みの数はNとMを掛け合わせた値になります。また、出力ノードごとに1つのバイアスが存在するため、バイアスの数はMとなります。
全結合層のパラメーター数は次の式で求められます。
パラメーター数 = N * M + M
具体例として、入力ノード数が3、出力ノード数が2の全結合層を計算します。
重みの数は、入力ノード数3と出力ノード数2を掛けた6となります。バイアスの数は、出力ノード数と同じ2となります。
したがって、パラメーター数の合計は、6と2を足した8となります。
畳み込み層の計算式と具体例
画像認識などで用いられる畳み込み層では、フィルターと呼ばれる小さな窓をスライドさせて特徴を抽出します。
フィルターの幅をKw、フィルターの高さをKh、入力チャンネル数をCin、出力チャンネル数をCoutと設定します。
1つのフィルターあたりの重みの数は、フィルターの幅と高さ、および入力チャンネル数を掛け合わせた値になります。1つのフィルターあたりの重みに1つのバイアスを加え、最後に出力チャンネル数を掛け合わせます。
畳み込み層全体のパラメーター数は次の式で求められます。
$$(K_{w} \times K_{h} \times C_{in} + 1) \times C_{out}$$
具体例として、カラー画像を扱う畳み込み層を計算します。フィルターのサイズを3×3（Kw=3、Kh=3）、入力チャンネル数をRGBの3（Cin=3）、出力チャンネル数を16（Cout=16）と設定します。
1つのフィルターあたりの重みの数は、3 * 3 * 3 の27となります。これにバイアス1を加えると28となります。
最後に、出力チャンネル数の16を掛けることで、パラメーター数の合計は28 * 16 の448となります。
パラメーター数を増減させるメリットとデメリット
モデルのパラメーター数を調整することに伴う利点と欠点を整理します。
メリット
パラメーター数を増やすことで、モデルの表現力が向上します。表現力が向上すると、複雑なデータパターンの学習が可能になります。画像分類において、細かい特徴を捉える精度が向上するなどの効果が得られます。
デメリット
パラメーター数が増加すると、計算に必要なメモリ使用量と学習時間が増加します。また、過学習と呼ばれる現象が起こりやすくなります。過学習とは、訓練データの特徴を過度に記憶し、未知の新しいデータに対する予測精度が低下する現象を指します。
学習のステップ
ディープラーニングの構造に対する理解を深めるためには、次の順序で学習を進めることをお勧めします。
- 行列の乗算や加算など、ニューラルネットワークの基礎となる計算手法を習得する
- 全結合層1つのみのシンプルなモデルを手計算で構成し、入力データがどのように変換されるかを追跡する
- プログラミング言語を用いて小規模なモデルを構築し、プログラムが出力するパラメーター数と手計算の結果が一致するか確認する
示された手順を踏むことで、計算の仕組みを順を追って身につけることができます。
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
