AlexNetの名前の由来と深層学習ブームの原点となった構造を初心者向けに解説

こんにちは。ゆうせいです。

画像認識をはじめとする人工知能の分野では、コンピュータに写真の内容を判別させる技術として畳み込みニューラルネットワークが広く利用されています。長年にわたり停滞していた画像分類の精度を大幅に向上させ、近年の深層学習(ディープラーニング)ブームの火付け役となった代表的なモデルがAlexNetです。今回は、AlexNetという名称の由来や構造の工夫、確認できる利点と課題について解説します。

AlexNetという名称の由来

AlexNetという名称は、このネットワークを開発した主要な研究者であるアレックス・クリジェフスキー(Alex Krizhevsky)氏の名前に由来しています。

トロント大学のジェフリー・ヒントン教授の研究室に所属していたアレックス氏を中心として設計されたネットワーク(Network)であることから、自身のファーストネームをとってAlexNetと名付けられました。2012年に開催された世界的な画像認識コンペティションであるILSVRCにおいて、従来の画像処理手法を大きく引き離して圧倒的な成績で優勝したことで、開発者の名前を冠したこの呼び名が世界中に広まりました。

従来の画像認識との違いを比喩で理解する

AlexNetがもたらした変化を理解するために、職人による絵画の鑑定作業を例に考えてみます。

従来の画像認識技術は、人間のベテラン鑑定士があらかじめ決めたルールブックを頼りに判別していました。「車なら車輪の丸い線を探す」「猫なら尖った耳の輪郭を抽出する」というように、注目すべき特徴の基準を人間が手作業で細かく定めてコンピュータに教えていました。しかし、角度や明るさが変わるとルールが通用しなくなる制約がありました。

これに対してAlexNetは、膨大な数の写真そのものを直接観察し、何を手がかりに判別すべきかという規則そのものをコンピュータ自身に見つけ出させる方法をとりました。絵画の特徴の見分け方を職人が教え込むのではなく、大量の作品を見せることで弟子が自然と直感を養っていくような仕組みです。

AlexNetを支えた主な技術と数式

AlexNetは、8層の重みを持つ層(5層の畳み込み層と3層の全結合層)で構成されており、学習を成立させるために新しい工夫が導入されました。

活性化関数ReLUの導入

従来のニューラルネットワークで多用されていたシグモイド関数に代わり、ReLU(Rectified Linear Unit)と呼ばれる活性化関数が採用されました。入力が正の値であればそのまま出力し、0以下であれば0を出力する関数です。

ReLU関数の定義式

f(x) = \max(0, x)

値がどれほど大きくなっても傾きが1のまま維持されるため、層を重ねても学習に必要な信号が途中で極端に小さくなる現象を防ぎ、計算速度を大幅に向上させました。

ドロップアウトによる過学習の抑制

全結合層において、訓練時に一定割合のノードをランダムに無効化して学習を進めるドロップアウトという技術が適用されました。特定のノード同士の過度な結びつきを弱め、未知のデータに対する適応力を高めています。

GPUによる並列計算

当時のGPU(画像処理半導体)のメモリ容量の制限に対応するため、ネットワークの構造を2つの系統に分割し、2枚のGPUへ並列にデータを分散させて処理を行う設計が採られました。

最終的な分類確率の算出には、多クラス分類で一般的に用いられるソフトマックス関数が使用されています。クラスkに属する確率を求める式は次の通りです。

クラスkの予測確率を算出する式

P(y = k \mid x) = \frac{\exp(z_{k})}{\sum_{j=1}^{C} \exp(z_{j})}

数式内のzは出力層の各ノードの計算値を表し、Cは分類対象となる総クラス数を表します。

AlexNetのメリット

AlexNetの登場によって確認された具体的な長所には、以下の項目が挙げられます。

  • 識別精度の飛躍的な向上:2012年のILSVRCコンペティションにおいて、誤り率を前年の記録から約10ポイント以上縮める数値を記録し、深層学習の実用性を証明しました。
  • 特徴抽出の自動化:人間が手作業で特徴量を設計する必要をなくし、大量の画像データから有用なパターンをエンドツーエンドで直接学習できるようになりました。
  • 学習時間の短縮:ReLU関数の採用とGPUによる並列分散処理を組み合わせたことで、従来の活性化関数と比較して数倍の速度で大規模モデルの学習を完了させることが可能になりました。

AlexNetのデメリット

一方で、AlexNetの構造には現在から見ていくつかの課題も存在します。

  • パラメータ数の多さ:全結合層に大量の結合が存在するため、モデル全体で約6000万個のパラメータを保持しており、メモリ消費量が大きい構造です。
  • 初期の畳み込みフィルターの粗さ:第1層の畳み込みフィルターのサイズが11×11画素と大きく、後続のモデルであるVGGのように小さなフィルターを重ねる手法に比べて計算効率の面で改善の余地がありました。
  • ハードウェア依存の特殊な設計:当時のGPUメモリ制約に合わせてネットワークを2系統に分割していたため、計算機の仕様に依存した複雑な配線構造を含んでいました。

まとめと次の学習ステップ

AlexNetは、主要な開発者であるアレックス・クリジェフスキー氏の名前に由来して命名されました。手作業の特徴量設計からデータ主導の特徴抽出への転換を果たし、深層学習が画像認識の主流となる契機を作ったモデルです。

AlexNetの理解を深めるための学習ステップは以下の通りです。

  1. 畳み込み層、プーリング層、全結合層という畳み込みニューラルネットワークの基本要素の役割を整理する。
  2. シグモイド関数とReLU関数の傾きの性質を比較し、勾配消失を防ぐ仕組みを確認する。
  3. フィルターサイズを3×3画素に統一して層を深くしたVGGの構造を学び、畳み込み層の重ね方による受容野の変化を確かめる。
  4. 途中の全結合層を削減してパラメータ数を抑えたGoogLeNetや、スキップ接続を取り入れたResNetへと段階的に学習を進める。

初期の代表的なアーキテクチャの設計意図を順番に確認していくことで、現代のより洗練された画像認識モデルの仕組みについても体系的に理解できるようになります。

投稿者プロフィール

山崎講師
山崎講師代表取締役
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します!
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。