「転移学習（Transfer Learning）」「ファインチューニング（Fine-tuning）」「知識蒸留（Distillation）」の違い
山崎講師
こんにちは。ゆうせいです。
今回は、「転移学習（Transfer Learning）」「ファインチューニング（Fine-tuning）」「知識蒸留（Distillation）」の違いについて、
AI・機械学習をこれから本格的に学ぶ新人エンジニアの方にもわかるように、やさしく、でも本質を外さずに解説します。
この3つは、深層学習モデルをより効率的・実用的に使いこなすための重要な戦略です。
でも、名前だけだとちょっと混乱しがちなんですよね。
まずはざっくり3つの違いを表で比較！
| 用語 | 一言で言うと | 目的 |
|---|---|---|
| 転移学習 | 既存の学習済みモデルを再利用すること | 学習時間を短縮／精度向上 |
| ファインチューニング | 既存モデルの重みを微調整すること | 転移先のタスクに最適化 |
| 知識蒸留 | 大きなモデルの賢さを小さなモデルに移す | 高速・軽量モデルを作る |
転移学習（Transfer Learning）とは？
名前の意味から！
「transfer＝移す」「learning＝学習」
→ すでに学んだ知識を、別のタスクに“移す”という意味です
何をするの？
- 画像認識で訓練された巨大なモデル（例：ResNet, BERT）を、
- 別のタスク（例：花の分類、小説の感情分析など）に再利用する
例えるなら？
数学の勉強をした人が、物理学でその知識を活かすようなもの。
- 数学は完全に同じではないけど、基礎が共通しているから再利用できる。
- モデルも同じで、「犬・猫の画像」で学んだ特徴抽出の力を、「花の分類」に活かせる！
ファインチューニング（Fine-tuning）とは？
名前の意味から！
「fine＝細かい」「tuning＝調整」
→ すでに学んだモデルを、微調整して最適化するという意味です。
何をするの？
- 転移学習の一種。
- すでに学習済みのモデルをベースに、追加で再学習（fine-tune）する。
たとえば：
- ResNetを使って花の分類をする。
- 最後の層だけ取り替えて、花のラベルに合わせる。
- その後、全体または一部の層を微調整して精度を上げる。
例えるなら？
ピアノを習った人が、少し練習すればバイオリンも弾けるようになる感じ。
土台はできているので、「ちょっと調整すれば使える」状態です。
知識蒸留（Knowledge Distillation）とは？
名前の意味から！
「distill＝蒸留する、エッセンスを抽出する」
→ 大きなモデルの知識のエッセンスを、小さなモデルに抽出して教えるという意味です。
何をするの？
- 精度の高い大規模モデル（Teacher）を用意
- その出力（予測確率など）を使って、小さなモデル（Student）を学習させる
- 結果として、高性能で軽量なモデルができる
これにより、推論が速くて軽いモデル（スマホ向けなど）を作ることができます。
例えるなら？
難しい教科書を読んで理解した先生が、わかりやすく要点だけを生徒に教えるイメージです。
図で関係性をまとめよう！
【転移学習】
↓ すでに学習済みのモデルを使う
【ファインチューニング】
↓ さらに微調整して、別のタスクに最適化
【知識蒸留】
→ 教師モデルからエッセンスを抽出し、軽い生徒モデルを学習
どれを使うべき？選び方の目安
| 条件・目的 | 適した手法 |
|---|---|
| データが少ない | 転移学習・ファインチューニング |
| 軽量なモデルが欲しい（スマホ、IoT） | 知識蒸留 |
| モデルを既存のデータでさらにチューニングしたい | ファインチューニング |
| モデル学習にかけられる時間が少ない | 転移学習 |
最後にまとめ！
| 用語 | 意味・目的 |
|---|---|
| 転移学習 | 既存のモデルを別タスクに活用する |
| ファインチューニング | 転移学習したモデルを再学習して精度を高める |
| 知識蒸留 | 大きなモデルの知識を小さなモデルに「圧縮」して伝える |
今後の学習の指針
次に学ぶべきおすすめの内容はこちらです：
- 具体的な転移学習のコードを動かしてみよう（PyTorchやTensorFlowで）
- ファインチューニングの戦略（どの層を凍結・学習する？）を理解しよう
- Distillationで使われる温度パラメータや損失関数の意味を深掘りしよう
この3つは、これからのAI開発で必ずと言っていいほど出番がある重要ワードです。
違いと使い分けをしっかり理解しておくことで、実務でも応用が利くようになりますよ！
生成AI研修のおすすめメニュー
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
