画像認識の常識を覆した風雲児！Vision Transformer (ViT)を徹底解剖
山崎講師こんにちは。ゆうせいです。
新人エンジニアとしてAIの勉強を始めたあなた、「画像認識のタスクなら、まずはCNN（畳み込みニューラルネットワーク）だ！」、そう考えていませんか？
確かに、長年CNNは画像認識の分野で王様として君臨してきました。
しかし、その常識に風穴を開けたのが、今回ご紹介する「Vision Transformer（ViT）」です！
ViTは、もともと自然言語処理（文章を扱う分野）で大成功を収めた「Transformer」という技術を、画像認識に応用したモデルです。
「文章を扱う技術が、どうして画像に？」と思いますよね。
その驚きの仕組みと、CNNとの違い、そしてどんな未来をもたらすのかを、一緒に見ていきましょう！
まずは、今までの王様「CNN」を知ろう
ViTのすごさを理解するために、まずはこれまでの王様だったCNNの得意技を知っておく必要があります。
CNNを例えるなら、「虫眼鏡で絵画をくまなく調べる鑑定士」です。
この鑑定士は、まず絵画の左上を虫眼鏡で覗き込み、線や点、色の塊といった非常に小さな特徴を探します。次に、少し右にずれて、また同じように小さな特徴を探す…この作業を絵画全体で繰り返します。
そして、見つけた小さな特徴（線の集まりなど）を組み合わせて、「目」や「鼻」といった、より大きな部品を見つけ出します。最後に、それらの部品の組み合わせから、「これは猫の絵だ！」と結論を下すのです。
CNNのポイントは、この「局所的な情報から全体を推測していく」という点です。
近くにあるピクセル同士の関係性を捉えるのは非常に得意ですが、絵の右端にある「猫のしっぽ」と、左上にある「猫の耳」を直接関連付けて、「これは猫だ」と考えるのは、少し苦手な側面がありました。
新しい挑戦者、Vision Transformer (ViT) の登場
そこで現れたのが、ViTです。
ViTの発想は、まさにコロンブスの卵でした。
「画像を、バラバラのパズルピースの集まり（単語の列）だと考えて、文章解析の天才であるTransformerに読ませてみたらどうなるだろう？」
この大胆なアイデアが、画像認識の世界に革命を起こしたのです。
ViTのやり方を、今度は「優秀なアート評論家チーム」に例えて解説しますね！
ステップ1：絵画を分割せよ！（パッチ化）
まず、ViTは一枚の画像を、切手のように、重なりのない小さな正方形の領域に分割します。この一つひとつの小さな画像を「パッチ」と呼びます。
これは、巨大な一枚の絵画を、チームで分担するために16枚のタイルに切り分けるようなものです。各評論家は、そのうちの一枚を担当します。
ステップ2：担当箇所の特徴をメモする（埋め込み）
次に、各評論家は、担当するタイルに何が描かれているかの特徴を数値のリスト（ベクトル）にまとめます。
「私の担当箇所は、茶色い毛が密集している」とか「白いヒゲのような線が3本ある」といったメモ書きのようなものですね。
ステップ3：元の位置を忘れない！（位置エンコーディング）
タイルに分割してしまうと、元々どの部分だったのか分からなくなってしまいますよね？「猫の耳」のタイルと「猫の足」のタイルも、バラバラではただの絵の断片です。
そこでViTは、「このパッチは、元画像の左上の角から3番目でしたよ」という位置情報を、先ほどのメモ書きに付け加えます。
これで、各評論家は自分の担当箇所の特徴と、その場所を両方とも把握できました。
ステップ4：全員参加のオンライン会議！（Transformer Encoder）
ここからがViTの真骨頂です！
評論家チームは全員でオンライン会議を開きます。この会議の仕組みが「Self-Attention（自己注意機構）」と呼ばれるTransformerの心臓部です。
会議では、ある一人の評論家（例えば「猫の耳」担当）が、他のすべての評論家のメモ書き（「ヒゲ担当」「しっぽ担当」「足担当」…）を一度に全部見ることができます。
そして、「自分の『耳』を解釈するためには、あの人の『ヒゲ』の情報がすごく重要だ！」とか、「あの『ただの背景』担当の人の情報は、あまり重要じゃないな」というように、すべての情報に対して、自分との関連性の重み付けを行うのです。
CNN鑑定士が虫眼鏡で少しずつ見ていたのとは対照的に、ViT評論家チームは一気に全体像を把握し、遠く離れた場所にある情報同士の関係性を学習していきます。
このオンライン会議を何層にもわたって（何回も）繰り返すことで、評論家たちは絵画全体に対する非常に深い洞察を得るのです。
ステップ5：最終結論
十分に議論を重ねた後、チームの知見を一つにまとめて、「我々の結論として、この絵画は98%の確率で『猫』です！」と最終的な判断を下します。
ViTの強みと弱み
では、この新しい挑戦者は、王様CNNと比べて何が優れていて、何が苦手なのでしょうか？
ViTの強み（メリット）
- 大局的な視点: 評論家チームが全体を一度に見渡すように、ViTは画像内の遠く離れた部分の関係性を捉えるのが非常に得意です。これにより、文脈を理解する能力がCNNより高いと言われています。
- 驚異的なスケーラビリティ: Googleが持つような超巨大なデータセットで学習させると、ViTは従来のトップクラスのCNNの性能を上回ることが示されています。学習すればするほど、どんどん賢くなるポテンシャルを秘めているのです！
ViTの弱み（デメリット）
- データ大食い: ViTは、画像認識の「お作法」を一から学ぶ必要があります。そのため、ImageNetのような比較的小さなデータセットでは、最初から「近くのピクセルが関係深い」というお作法（帰納的バイアス）を知っているCNNに負けてしまうことがあります。性能を発揮するには、とにかく大量のデータが必要なのです。
- 計算コスト: すべてのパッチが、他のすべてのパッチとの関連性を計算するため、特に高解像度の画像では計算量が爆発的に増える傾向があります。
次のステップへ
Vision Transformerは、CNNの時代を終わらせるものではなく、画像認識のための新しい、そして非常に強力な選択肢を示してくれました。
- CNNとViTのハイブリッドモデル: CNNの局所的な特徴を捉える能力と、ViTの大局的な視点を組み合わせることで、より高い性能を目指す研究も盛んに行われています。
- より効率的なViT: ViTの計算コスト問題を解決するために、比較するパッチの範囲を制限するなどした、
Swin Transformerといった改良版も次々と登場しています。
「画像ならCNN」という固定観念を一度リセットして、ViTという新しい視点を取り入れてみてください。
文章と画像の垣根を越えたこの技術は、きっとあなたのAI開発の世界を、より一層面白くしてくれるはずですよ！
セイ・コンサルティング・グループの新人エンジニア研修のメニューへのリンク
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
