AIで画像を言葉にする！画像キャプショニングの仕組みと未来
山崎講師こんにちは。ゆうせいです。
みなさんは、スマートフォンの写真アプリで「海」や「犬」と検索したときに、ぴったりの写真が表示されて驚いたことはありませんか？あるいは、目が見えない方のために、AIが「公園で遊ぶ子供たちの写真です」と耳元でささやいてくれる技術をご存知でしょうか。
このように、コンピューターが画像の内容を理解して、それを文章で説明する技術を画像キャプショニングと呼びます。
今回は、一見魔法のように思えるこの技術の裏側を、みなさんと一緒にのぞいてみましょう。準備はいいですか？
画像キャプショニングって具体的に何？
画像キャプショニングとは、文字通り画像に対して説明文（キャプション）をつける技術のことです。
人間であれば、写真を見て「青い空の下で白い猫が寝ている」とすぐに判断できます。しかし、コンピューターにとって画像は単なる数字の羅列に過ぎません。その数字の塊から「猫」という物体を見つけ出し、さらに「寝ている」という状態まで言語化するのは、実はとても高度な作業なのです。
専門用語で読み解く仕組み
この魔法を実現するために、AIの中では2つの大きな役割が連携しています。
- コンピュータビジョンこれはAIの「目」に相当する技術です。写真の中に何が写っているかを分析します。例えるなら、名探偵が現場写真から「犯人の足跡」「割れたコップ」といった証拠を見つけ出すようなプロセスです。
- 自然言語処理これはAIの「口」に相当する技術です。「目」が分析した情報を、人間が理解できる自然な文章に組み立てます。バラバラの英単語を組み合わせて、正しい英文を作る翻訳家のような仕事だと想像してください。
この「目」と「口」が手を取り合うことで、画像キャプショニングは成り立っています。
どんなメリットがあるの？
この技術が普及すると、私たちの生活はどう変わるのでしょうか。
情報アクセシビリティの向上
視覚に障害がある方にとって、インターネット上の画像は内容がわからない「情報の壁」になりがちです。画像キャプショニングがあれば、すべての画像が音声読み上げに対応し、誰もが同じように情報を得られるようになります。
膨大なデータの整理
企業が持つ数万枚の写真を、いちいち人間が確認して名前をつけるのは大変な作業ですよね。AIが自動で内容を説明してくれれば、検索性が劇的に向上し、仕事の効率が格段にアップします。
逆に苦手なことはある？
完璧に見えるAIにも、苦手な分野は存在します。
文脈の読み取り
例えば、泣いている人の写真があったとします。それが「悲しくて泣いている」のか「嬉しくて泣いている」のか、あるいは「玉ねぎを切って泣いている」のか。前後の文脈がないと、AIはしばしば勘違いをしてしまいます。
嘘をついてしまう現象（ハルシネーション）
AIは時々、写真に写っていないものを「ある」と言い張ることがあります。これを幻覚を意味するハルシネーションと呼びます。背景の模様を勝手にシマウマだと誤認してしまうようなミスが起こる可能性があるのです。
数式で考えるAIの評価
AIが作った文章が、どれくらい人間の書いたものに近いかを測る指標があります。その代表的な計算式を少しだけ見てみましょう。
| 指標名 | 特徴 |
| BLEU | 単語の並びがどれだけ一致しているかを測定します |
| METEOR | 言い換えや類義語も考慮して、より柔軟に評価します |
例えば、AIの正確さを判断する際、以下のような考え方を使います。
AIの正確さ 
このように、算数のような計算を積み重ねることで、AIは日々賢くなっているのです。
これからどう学んでいけばいい？
画像キャプショニングの世界に興味が湧いてきましたか？
もし、もっと深く知りたいと思ったら、まずは「ディープラーニング」という言葉を調べてみてください。これが画像キャプショニングの心臓部にあたる技術です。
また、実際にスマートフォンのアクセシビリティ機能をオンにして、AIが写真をどう説明してくれるか体験してみるのも面白いでしょう。意外な発見があるはずです！
技術は日々進化しています。次はどんな驚きが待っているか、一緒に追いかけていきましょう。
セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。
