名前の由来から読み解くCLIPの仕組み
山崎講師今回は、画像とテキストを繋ぎ合わせ、現在の画像生成AI（Stable Diffusionなど）の爆発的な進化の立役者となったCLIP（クリップ）について解説します。NeRFと同様に、名前の由来から紐解くことで、この技術が何を達成しようとしているのかがクリアになります。
CLIPとは何か？
CLIPは、OpenAIが2021年に発表した「画像とテキストの意味を、同じ空間で比較・理解できるAIモデル」です。
これまでの画像認識AIは「犬の画像には『犬』というラベルを貼る」という専用の学習が必要でしたが、CLIPはインターネット上の膨大な「画像とテキストのペア」を学習することで、初めて見る画像であっても「これは犬がフリスビーで遊んでいる画像だ」と、人間の言葉を使ってゼロベースで判断（ゼロショット分類）できるようになりました。
名前の由来から読み解くCLIPの仕組み
CLIPは「Contrastive Language-Image Pre-training」の頭文字をとったものです。この3つの要素に分解して解説します。
1. Contrastive（対照学習）
CLIPの学習方法の核心です。「対照（比較）」という言葉の通り、正しいペアと間違ったペアを比較させることで学習を進めます。
AIに対して「正しい画像とテキストのペア」を近づけ、「無関係な画像とテキストのペア」を遠ざけるようなパズルを解かせることで、画像と言語の特徴を抽出していきます。
2. Language-Image（言語と画像）
CLIPは内部に「テキストを数値化するネットワーク（Text Encoder）」と「画像を数値化するネットワーク（Image Encoder）」の2つを持っています。
全く異なる「言葉」と「写真」というデータを、意味が共通する一つの数学的な空間（潜在空間）に変換し、同じ土俵で比較できるように橋渡しをします。
3. Pre-training（事前学習）
インターネット上の約4億組にも及ぶ「画像とそのキャプション（説明文）」のペアを用いて、あらかじめ大規模な学習（事前学習）を行っていることを示します。これにより、後から特定のタスク向けに再学習させなくても、汎用的に様々な画像やテキストに対応できる基礎力を備えています。
数式で見る「意味の近さ」の計算
CLIPが画像とテキストの「意味がどれくらい一致しているか」を判定する際、内部ではベクトル（数値の配列）同士の角度を計算する「コサイン類似度」という指標が使われています。
画像ベクトルを $I$、テキストベクトルを $T$ としたとき、両者の類似度は以下の式で計算されます。
$$\text{Similarity} = \frac{I \cdot T}{\Vert{}I\Vert{} \Vert{}T\Vert{}}$$
この計算結果が $1$ に近いほど「画像とテキストの意味がぴったり一致している」とAIが判断していることを意味します。このシンプルな計算によって、入力された画像に対して最もふさわしい説明文を見つけ出すことができます。
CLIPのメリットとデメリット
新人エンジニアがシステムにCLIPを組み込むことを想定し、実務的なメリットとデメリットをまとめました。
| 特徴 | 詳細 |
| メリット | 未知のカテゴリや新しい概念であっても、追加の学習データなしで分類や検索が可能（ゼロショット性能が高い）。 |
| メリット | 画像検索システムを作る際、「画像で画像を検索する」だけでなく「自然言語で画像を検索する」システムを容易に構築できる。 |
| デメリット | 「赤い丸と青い四角」のような、色と形状の厳密な紐づけや、画像内の物体の数を正確に数えるようなタスクを苦手とする。 |
| デメリット | インターネット上のデータで学習しているため、データに含まれる社会的バイアス（偏見）をそのまま引き継いでしまうリスクがある。 |
CLIPは単なる画像認識の枠を超え、現在では「テキストの指示から画像を生成するAI」が人間の意図を理解するための翻訳機として、中核的な役割を果たしています。
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
