XAIの具体的な手法である「Grad-CAM」と「Integrated Gradients」

2025年9月22日 2025年9月22日山崎講師

山崎講師

こんにちは。ゆうせいです。

AIが「この画像は猫です」と99%の自信で答えたとき、そのAIは画像のどこを見て「猫」だと判断したのでしょう？尖った耳でしょうか？それとも、くるんと巻いた尻尾でしょうか？

これまでの深層学習（ディープラーニング）は、驚異的な精度を達成する一方で、その判断プロセスが人間には理解できない「ブラックボックス」であることが大きな課題でした。AIが出した答えは分かるけれど、「なぜ、その答えに至ったのか」という理由が分からない。これでは、AIの判断を心から信頼することはできませんよね。

この「なぜ？」を解き明かし、AIに説明責任を持たせるための技術分野が、今回お話しする「XAI（eXplainable AI：説明可能なAI）」です。そしてその具体的な手法である「Grad-CAM」と「Integrated Gradients」の世界を覗いてみましょう。

なぜAIに「説明」が必要なのか？

XAIがなぜ今、これほど重要視されているのでしょうか？理由は大きく3つあります。

信頼性のため: 医療診断AIが「病気の疑いあり」と判断したとき、その根拠が分からなければ、医師も患者もその結果を信頼できません。
公平性のため: 融資審査AIが、差別的な意図を持たず、申請者の正当な情報だけを見て判断していることを確認する必要があります。
改善のため: AIが間違った判断をしたとき、その原因が分からなければ、モデルを修正し、改善することが非常に難しくなります。

XAIは、AIを社会で安全かつ公正に活用するための、いわば「翻訳機」や「説明書」の役割を果たすのです。

AIの着眼点を可視化する：Grad-CAM

Grad-CAMは、XAIの技術の中でも、特に画像認識の分野で広く使われている手法です。AIモデルが画像の「どこに注目して」判断を下したのかを、ヒートマップとして分かりやすく可視化してくれます。

アナロジー：無口な一流シェフ（AI）と、特別なサーモカメラ

ここに、どんな食材でも一口食べればその価値を完璧に見抜く、無口なシェフがいるとします。彼がリンゴを見て「これは最高級品だ」と言いました。なぜそう判断したのか理由を知りたいあなたは、特別なサーモカメラで、彼がリンゴを見つめる様子を撮影します。

すると、彼が特に注意を払って見ていた部分、例えば「ヘタの新鮮さ」や「皮の特定の色つや」の部分だけが、サーモカメラの映像で赤く光って見えました。

この「赤く光って見える部分」が、Grad-CAMが生成するヒートマップです。AIの判断根拠となった重要な領域を、人間が直感的に理解できる形で示してくれます。「なるほど、AIはこの部分を見て猫だと判断したんだな」と一目で分かるのが最大の長所です。

各要素の貢献度を精密に測る：Integrated Gradients

Integrated Gradientsは、Grad-CAMよりもさらに一歩踏み込んで、入力データの各要素（画像で言えば、ピクセルの一つ一つ）が、最終的な判断に対して「どれくらい貢献したか」を数値で算出する手法です。

アナロジー：シェフ（AI）と、超精密な反応測定器

今度のあなたは、サーモカメラの代わりに、シェフの脳波や心拍数をミクロのレベルで測定できる超精密な機械を手に入れました。

リンゴのあらゆる情報、「このピクセルの赤色」「あのピクセルの光沢」「ヘタの角度」などを一つずつシェフに見せながら、彼の反応を測定します。その結果、「この赤いピクセルは、最高級品という判断にプラス5点貢献した」「こちらの小さな傷は、マイナス2点だった」というように、全ての要素の貢献度をスコア化した詳細なレポートが手に入りました。

これがIntegrated Gradientsの考え方です。ポジティブに貢献した要素も、ネガティブに貢献した要素も、全て数値で明らかにします。数学的に厳密な根拠があるため、より精密な分析が可能になります。

まとめ：2つの手法の使い分け

この2つの手法は、どちらが優れているというものではなく、目的によって使い分けられます。

手法	アナロジー	何がわかるか？	特徴
Grad-CAM	サーモカメラ	「どこ」を重視したか（大まかな領域）	直感的で分かりやすいヒートマップ
Integrated Gradients	超精密な反応測定器	「どの要素が」「どれくらい」貢献したか	精密で数学的な正当性、詳細な分析が可能

まずはGrad-CAMでAIの判断根拠を大まかに把握し、さらに詳細な分析が必要な場合にIntegrated Gradientsで深掘りする、といった使い方が一般的です。

次のステップへ

XAIの世界は非常に奥深く、今も活発に研究が進められています。今回紹介した以外にも、様々なアプローチが存在します。

LIME (Local Interpretable Model-agnostic Explanations): どんな複雑なモデルでも、その判断の周辺だけを単純なモデルで近似して説明する手法。
SHAP (SHapley Additive exPlanations): ゲーム理論の考え方を応用し、各要素の貢献度を公平に算出する、非常に強力な手法。

PyTorch向けのCaptumや、SHAPライブラリなど、これらのXAI技術を簡単に試せるツールも充実しています。ぜひ一度、ご自身のAIモデルの「心の中」を覗いてみてください。AIとの対話は、そこから始まります。

セイ・コンサルティング・グループの新人エンジニア研修のメニューへのリンク

投稿者プロフィール

山崎講師代表取締役

セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します！
この記事に間違い等ありましたらぜひお知らせください。