代表的な４つのXAI技術を比較する：LIME、SHAP、Grad-CAM、Permutation Importance
山崎講師こんにちは。ゆうせいです。
機械学習モデルが予測や分類を行う際に、「なぜそのような結果が得られたのか」という問いに答えることは、システムの信頼性を高める上で重要です。特に医療診断、与信判定、採用審査など、判定結果が人の人生に影響を与える場面では、その根拠を説明できることが法的にも倫理的にも求められます。XAI（Explainable AI：説明可能なAI）は、このような要求に応えるための技術分野です。本記事では、代表的な四つのXAI技術、LIME、SHAP、Grad-CAM、Permutation Importance の仕組みと特徴を比較します。
XAI（説明可能なAI）とは
XAI は、機械学習モデルがなぜその予測を行ったのかを、人間が理解できる形で説明する技術群です。モデルが「ブラックボックス」として機能するのではなく、その意思決定プロセスを透明にすることが目的です。
機械学習、特に深層学習は、複雑な計算を内部で行い、最終的な結果だけを出力することが多いため、その過程を理解することが難しくなっています。XAI 技術は、その過程を「説明可能」にするための様々なアプローチを提供しています。
四つのXAI技術
1. LIME（Local Interpretable Model-agnostic Explanations）
LIME は、機械学習モデルがある特定の予測をなぜ行ったのかを、その予測の周辺領域で局所的に説明する手法です。
仕組みは次の通りです。説明対象となる予測の周辺に、意図的に摂動（ランダムな変更）を加えたデータを大量に生成します。元のモデルでこれらのデータを予測させ、どの特徴量が予測結果に最も影響しているかを、単純な線形回帰モデルで分析します。この局所的な線形モデルが、元のモデルの行動を近似する説明として機能します。
LIME の特徴は「モデル非依存」という点です。どのような機械学習モデル（決定木、ニューラルネットワーク、SVM など）に対しても適用できます。
利点としては、比較的計算量が少なく、実装が簡単です。また、単一の予測に対して局所的に説明するため、直感的に理解しやすいです。実装ライブラリが豊富で、様々な言語で利用できます。
欠点として、局所的な説明に留まるため、モデル全体の行動を理解するのには適していません。また、摂動の生成方法によって説明結果が変わる可能性があります。複数回実行しても結果が異なることがあります。
2. SHAP（SHapley Additive exPlanations）
SHAP は、ゲーム理論の「シャプレー値」という概念をベースに、各特徴量がモデルの予測に対してどれだけの寄与をしているかを定量化する手法です。
仕組みは次の通りです。予測に対して複数の特徴量が関与しています。SHAP は、全ての可能な特徴量の組み合わせについて、その組み合わせがモデルの出力にどう影響するかを計算します。ここから、個別の特徴量が平均的にどれだけの貢献をしているかを導き出します。例えば、十個の特徴量がある場合、2^10 = 1024 の異なる組み合わせを検討して、各特徴量の寄与度を計算するというアプローチになります。
SHAP の特徴は「公正性」です。各特徴量の貢献度を計算する際に、ゲーム理論に基づいた数学的に厳密な方法を使用しています。
利点としては、理論的に堅牢であり、複数の予測を比較する際に矛盾が生じにくいです。また、特徴量の寄与度を定量的に比較できるため、複数の予測の間で一貫した説明が可能です。SHAP 値は、複数の予測を集計することで、モデル全体の挙動も理解できます。
欠点として、計算量が非常に多く、大規模なデータセットや複雑なモデルでは実行時間が長くなります。一つの予測の説明に数秒から数十秒かかることもあります。また、理解に統計学やゲーム理論の知識が必要な場合があります。
3. Grad-CAM（Gradient-weighted Class Activation Mapping）
Grad-CAM は、画像認識タスクで、ニューラルネットワークがどの領域に注目して分類判定を行ったのかを可視化する手法です。特に、Convolutional Neural Network（CNN）に対して有効です。
仕របម은次の通りです。ニューラルネットワークの最後の畳み込み層の活性化マップを取得します。そして、逆伝播により、各ピクセルの勾配を計算します。この勾配と活性化マップを組み合わせることで、「クラス判定に貢献した画像領域」をマップとして生成します。このマップを元の画像に重ねることで、モデルの注目領域が可視化されます。
Grad-CAM の特徴は「視覚的な説明」という点です。どの画像領域が重要か、一目で理解できます。
利点としては、直感的に理解しやすく、医療画像診断など、視覚的な根拠が重要な分野で特に有用です。計算量も比較的少なく、リアルタイム処理も可能です。CNN 系のモデルであれば、モデル構造に大きな変更を加えずに適用できます。
欠点として、CNN など特定のニューラルネットワークアーキテクチャに限定されるため、汎用性が低いです。テキストや表形式のデータには直接適用できません。また、注目領域を示しているだけで、その領域がなぜ重要なのかという理由までは説明しません。
4. Permutation Importance（順列重要度）
Permutation Importance は、機械学習モデルの性能に対して、各特徴量がどれだけ貢献しているかを測定する手法です。特定の特徴量の値をランダムに置き換え（シャッフル）、モデルの性能がどれだけ低下するかを観察します。性能の低下が大きいほど、その特徴量が重要だと判断されます。
仕組みは次の通りです。まず、訓練済みモデルの元のテストデータに対する性能（例えば精度）を計算します。次に、一つの特徴量の値だけをシャッフルして、モデルの性能を再計算します。元の性能との差分が、その特徴量の重要度になります。すべての特徴量について、この操作を繰り返します。
Permutation Importance の特徴は「モデル非依存」という点です。どのような機械学習モデルにも適用できます。また、計算方法が直感的で理解しやすいです。
利点としては、実装が簡単で、計算も高速です。多くの機械学習ライブラリに標準で実装されています。複数の特徴量を同時にシャッフルすることで、特徴量同士の相互作用も観察できます。モデル全体の性能低下を直接測定するため、実務的な意味が明確です。
欠点として、訓練データに対する過適合がある場合、Permutation Importance がモデルの真の特徴量重要度を反映していない可能性があります。また、特定の予測がなぜその結果になったのかを説明するのには適していません。モデル全体の観点からの説明に限定されます。
四つの技術の比較表
適用可能なモデルでは、LIME と Permutation Importance はモデル非依存で、SHAP も基本的にはモデル非依存ですが、計算効率化のためにモデル特有の最適化を利用する場合もあります。Grad-CAM は CNN などの画像認識用ニューラルネットワークに限定されます。
計算速度では、Permutation Importance が最も高速で、Grad-CAM が高速、LIME が中程度、SHAP が最も遅いです。
説明の粒度では、LIME と Grad-CAM は特定の予測に対する局所的な説明を提供し、SHAP と Permutation Importance はモデル全体の観点からの説明を提供します。
説明の形式では、LIME は特徴量の寄与度を示し、SHAP は寄与度を定量的に示し、Grad-CAM は画像領域をヒートマップで可視化し、Permutation Importance は特徴量の重要度スコアを示します。
理論的根拠では、SHAP がゲーム理論に基づいて最も堅牢で、Grad-CAM と Permutation Importance が中程度、LIME が最も単純です。
実務での選択基準
LIME は、複数の異なるモデルを試験運用しており、それぞれの予測結果の根拠を説明する必要がある場合に適しています。実装が簡単なため、探索的な分析にも向いています。
SHAP は、モデル全体の挙動を詳細に理解し、複数の予測を一貫性を持って比較する必要がある場合に適しています。ただし、計算時間に余裕がある必要があります。
Grad-CAM は、画像認識モデルを使用しており、医療画像や不動産査定など、視覚的な根拠が重要な場面で適しています。モデルの診断精度を向上させるために、モデルが何を見ているかを理解したい場合に有効です。
Permutation Importance は、迅速にモデル全体の特徴量重要度を把握したい場合に適しています。運用中のモデルの監視や、特徴量エンジニアリングの方向性を決定する際に役立ちます。
複数のXAI技術の組み合わせ
実務では、複数の XAI 技術を組み合わせて使用することが推奨されます。
例えば、Permutation Importance でモデル全体の特徴量重要度を把握し、重要度が高い特徴量の特定の予測への寄与度を SHAP で詳細に調査するといったアプローチが効果的です。
画像認識モデルの場合は、Grad-CAM で視覚的に注目領域を確認しながら、LIME で代替的な説明を得るという方法もあります。
説明可能性と予測精度のバランス
XAI 技術の導入はモデルの予測精度には直接影響しません。XAI 技術は事後的な説明を提供するツールであり、モデルの訓練や予測プロセスに変更を加えるものではないからです。
ただし、XAI 技術により問題が発見された場合、モデルの改善が必要になる可能性があります。例えば、Permutation Importance で不適切な特徴量が重要だと判断された場合、データの品質を見直したり、モデルを再訓練したりする必要が生じます。
まとめ
XAI の四つの代表的技術は、それぞれ異なる観点からモデルの予測を説明しています。LIME はモデル非依存で局所的な説明を提供し、SHAP はゲーム理論に基づいた堅牢な寄与度分析を提供し、Grad-CAM は画像認識モデルの注目領域を視覚的に示し、Permutation Importance は計算効率に優れたモデル全体の特徴量重要度を提供します。
実務では、モデルの種類、説明の必要性の程度、計算リソース、対象データの形式といった要素を考慮して、最適な技術を選択する必要があります。また、複数の技術を組み合わせることで、より包括的で信頼性の高い説明が実現できます。
次のステップとして、自分が実装しているモデルに対して、複数の XAI 技術を実際に適用してみることをお勧めします。その過程で、それぞれの技術の実践的な利点と制限を体験し、実務での活用方法が明確になるでしょう。
投稿者プロフィール
