ResNetの名前の由来と残差学習の仕組みを初心者向けに解説

2026年10月11日 2026年10月11日山崎講師

山崎講師

こんにちは。ゆうせいです。

画像認識をはじめとする人工知能の分野では、コンピュータに画像の内容を正しく識別させるための仕組みとしてニューラルネットワークが使われています。ネットワークの層を深く積み重ねるほど、より複雑な特徴を捉えられると考えられていますが、層を増やしすぎると学習がうまく進まなくなる問題がありました。その課題を克服するために登場した手法がResNetです。今回は、ResNetという名称の由来や構造、利点と留意点について解説します。

ResNetという名称の由来

ResNetは、英語の Residual Network（レジデュアル・ネットワーク）を省略した名称です。日本語では「残差ネットワーク」と訳されます。

残差という単語は、数学や統計学において「全体の目標値と現在の予測値との差額」や「引き算の残り」を意味します。この「差分だけを学習する仕組み」を取り入れたネットワークであることから、Residual Network、略してResNetと名付けられました。

通常のネットワークとの違いを比喩で理解する

ResNetの着想を理解するために、学校のテスト勉強を例に考えてみます。

従来のネットワークは、学年が上がるごとに過去の内容を含めた教科書全体を一から丸暗記し直すような方法をとっていました。層が深くなるにつれて覚えるべき情報量が膨大になり、かえって基礎的な計算方法を忘れて点数が下がるような現象が生じていました。

これに対してResNetは、すでにある前年の学力（元の入力情報）はそのまま保持しておき、新しく追加された学年で新出の差分（残差）のみを重点的に学習する方法をとります。既存の土台をそのまま次の段階へ引き継ぎ、上乗せすべき変化量だけを計算させる仕組みです。

スキップ接続と残差の数式表現

ResNetの中核となる技術は、スキップ接続（あるいはショートカット接続）と呼ばれる構造です。

層の処理を通す前の入力データを迂回路に通し、層の処理を経た後の出力データへ直接足し合わせます。目的の出力を H(x)、入力データを x と置いた場合、ネットワークの各層が新しく学習すべき残差関数 F(x) は、目的の出力から入力を差し引いた差分として定義されます。

各層が学習する残差関数の定義式

$F(x) = H(x) - x$

元の入力データを足し合わせるスキップ接続の出力式

$H(x) = F(x) + x$

この構造により、仮に層の内部で追加の学習が一切不要な状態（F(x) が 0 に近い状態）であっても、入力 x がそのまま次の層へ保たれます。ネットワーク全体の性能が深さによって低下しにくくなります。

ResNetのメリット

ResNetを採用することによって確認されている具体的な利点は、以下の通りです。

勾配消失問題の緩和：誤差逆伝播法を用いて学習する際、層を深くするにつれて伝達される信号が途中で極端に小さくなる問題を防ぎます。迂回路を通ることで、信号がそのまま手前の層まで届きやすくなります。
超深層ネットワークの構築：従来の仕組みでは20層程度を超えると学習精度の低下が見られましたが、ResNetでは100層を超える深さでも安定して学習を進行させることが可能になりました。
画像認識精度の向上：層を深く積み重ねることが可能になった結果、細部の特徴から大域的な特徴まで段階的に捉えられるようになり、大規模な画像分類タスクで高い正答率を達成しました。

ResNetのデメリット

一方で、ResNetを運用する際には以下のような留意点も存在します。

計算資源の消費量：層の数が100層や152層と多くなるため、計算処理に必要なGPUメモリの消費量や学習完了までの所要時間が増加します。
推論処理の遅延：スマートフォンなどの処理能力が限られた端末で動作させる場合、層が深いモデルでは1枚あたりの画像認識にかかる時間が長くなります。
構造の最適化に伴う調整作業：スキップ接続と層の処理結果を足し合わせる際、双方のデータの縦・横の解像度やチャンネル数を一致させるための調整処理を挟む必要があります。

まとめと次の学習ステップ

ResNetは、入力と出力の差額である残差（Residual）のみをネットワークに学習させる構造に由来して命名されました。迂回路を設けて元の情報をそのまま足し合わせる工夫によって、層を極めて深くしても安定した学習が可能となっています。

ResNetの理解を深めるための学習ステップは以下の通りです。

誤差逆伝播法の基礎を復習し、勾配消失問題がどのような計算過程で生じるのかを確認する。
畳み込みニューラルネットワーク（CNN）における畳み込み層とプーリング層の役割を整理する。
ResNetの改良モデルであるResNeXtやDenseNet、モバイル向け軽量化モデルであるMobileNetの構造と比較して違いを把握する。

基盤となる残差学習の考え方を把握しておくことで、近年のコンピュータビジョンや生成モデルにおけるネットワーク構造の理解も容易になります。

セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。

投稿者プロフィール

山崎講師代表取締役

セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。