再犯予測システムCOMPASを解説:AIの差別性が明らかになった歴史的事例

こんにちは。ゆうせいです。

2016年、調査報道メディアのProPublicaが、米国の刑事司法制度で広く使用されている「COMPAS」という再犯予測システムに対して、衝撃的な報告を発表しました。このシステムが黒人被告人に対して、白人被告人よりも不当に高い再犯リスク評価を付与しており、結果として黒人の被告人がより厳しい判決を受けやすくなっている、というものです。COMPASの事例は、AIシステムが持つ「見えないバイアス」が、人間の生命と自由に直結する司法制度でどのような害をもたらすかを明らかにした、きわめて重要な歴史的事件です。本記事では、COMPASの仕組みから、明らかになったバイアスの本質、そしてこれから学ぶべき教訓まで、初心者向けに詳しく解説します。

COMPASとは

COMPAS(Correctional Offender Management Profiling for Alternative Sanctions:矯正犯罪者管理プロファイリングシステム)とは、米国で開発された、被告人の再犯(犯罪を再び起こす)可能性を予測するシステムです。

開発企業:Northpointe(現EQUivant)。

目的:裁判官や保釈委員会が、被告人の釈放条件や刑期決定の際に、参考情報として提供される。

使用範囲:米国の複数の州で、数千件の判決に影響を与えてきた。

COMPASは、被告人の個人情報(年齢、犯罪歴、教育歴など)と行動パターンを分析し、「この人物が5年以内に再犯を起こす確率は何パーセント」というリスクスコアを算出します。

このスコアが高いと評価された被告人は、保釈を許可されにくくなったり、より長い刑期を受けたりする傾向があります。

表面上は、「客観的なデータに基づいた科学的な判断」として機能しているように見えます。しかし、2016年のProPublicaの調査により、その客観性が幻想であることが明らかになったのです。

ProPublicaの調査報告(2016年)

2016年5月、ProPublicaは「Machine Bias」という調査報告を発表しました。この報告は、COMPASの再犯予測にもとづく1000件以上の判例を分析したものです。

調査の方法

ProPublicaは、フロリダ州ブロワード郡で、2013年から2014年にかけて作成されたCOMPASの再犯リスク評価スコアを入手しました。

その後、実際にどれほどの被告人が再犯を起こしたかを、複数年にわたって追跡調査しました。

結果として、以下のデータが得られました。

対象者数:約7000人の被告人。

追跡期間:平均2年間。

再犯の定義:釈放後に新たな犯罪で逮捕されるか、有罪判決を受けること。

調査が明らかにした差別

結果は、極めて憂慮すべきものでした。

黒人被告人に対する過度な高リスク評価:
黒人被告人のうち、COMPASが「高リスク」と評価した者の45パーセントが、実際には再犯していませんでした。つまり、再犯しなかった人に対して、システムは誤って「高リスク」というレッテルを貼ったのです。

白人被告人に対する過度な低リスク評価:
白人被告人のうち、COMPASが「低リスク」と評価した者の25パーセントが、実際には再犯していました。つまり、再犯した人に対して、システムは誤って「低リスク」というレッテルを貼ったのです。

具体的な数字で示すと、

黒人被告人が「高リスク」と評価される確率:48パーセント。
白人被告人が「高リスク」と評価される確率:23パーセント。

同じ属性や犯罪歴を持つ黒人被告人と白人被告人を比較した場合でも、黒人被告人がより高いリスクスコアを受ける傾向が明らかになったのです。

結果としての影響:

黒人の被告人は、より厳しい保釈条件を設定されるようになり、裁判前に獄中に留置される期間が長くなる傾向がありました。

これは、被告人の人生と自由に直結する、極めて重大な影響です。

なぜバイアスが生じたのか

COMPASのバイアスの根本的な原因は、訓練データにありました。

訓練データの歴史的バイアス

COMPASの訓練に使用されたデータは、過去数十年の米国司法制度からのデータでした。そこには、米国の司法制度が持つ歴史的な人種差別が反映されていたのです。

具体的には、以下のような現象が訓練データに組み込まれていました。

黒人被告人への不当な逮捕率の高さ:同じ犯罪行為を行った場合でも、黒人は白人より逮捕される確率が高い傾向がある。これが訓練データに反映される。

黒人被告人への厳しい判決:同じ犯罪で有罪判決を受けた場合でも、黒人は白人より長い刑期を受ける傾向がある。

刑獄環境における監視と再逮捕:黒人被告人は、白人被告人より厳しく監視されているため、その結果として「再犯」と記録される確率が高い。

アルゴリズムの視点からの「最適化」

COMPASの開発者たちは、「訓練データに基づいて、再犯予測の精度を最大化する」というアルゴリズムを設計しました。

その過程で、開発者たちは気付きませんでした(あるいは、気付いても対応しませんでした)。訓練データ自体が、人種差別を反映しているという事実を。

アルゴリズムは、訓練データの中に存在する相関関係をすべて学習します。その相関関係が、過去の司法的差別を反映していたとしても、です。

結果として、アルゴリズムは「黒人である」という属性と「高い再犯リスク」のあいだの相関を学習し、それを新しい被告人の評価に適用してしまったのです。

公平性の測定方法と「不可能な選択」

COMPASの事例は、アルゴリズムの公平性をどのように測定するかという難しい問題を浮き彫りにしました。

測定方法1:精度の等価性(Equalized Accuracy)

人種グループごとに、予測精度(正しく予測できた確率)が等しいかどうかを測定する方法。

もし黒人と白人の両グループで、予測精度が等しければ、公平だと見なす。

COMPASの場合:黒人と白人で異なる精度が検出された。

測定方法2:予測値の等価性(Predictive Parity)

「システムが『高リスク』と判定した場合、実際に再犯する確率」が、人種グループ間で等しいかどうかを測定。

例えば、黒人で「高リスク」と判定された者の再犯率が70パーセント、白人で「高リスク」と判定された者の再犯率が60パーセントであれば、等価ではない。

COMPASの場合:黒人と白人で異なる再犯率が検出された。

測定方法3:偽陽性率の等価性(Equalized False Positive Rates)

「実際には再犯しない人」のうち、システムが誤って「高リスク」と予測した割合が、人種グループ間で等しいかどうか。

ProPublicaの調査で指摘されたのは、この指標でした。黒人被告人の偽陽性率(45パーセント)が、白人被告人の偽陽性率(23パーセント)より高いことが明らかになりました。

「不可能な選択」:互いに矛盾する公平性基準

ここで重大な理論的問題が発生します。

複数の公平性基準は、数学的に互いに矛盾する可能性があるのです。

具体的には、以下は同時には成立しません:

予測値の等価性:「高リスク」と予測された場合の実際の再犯率が等しい。

偽陰性率の等価性:「低リスク」と予測されたが実際には再犯した人の割合が等しい。

この矛盾は、訓練データに根本的なアンバランスが存在する場合に生じます。

つまり、歴史的差別により訓練データが偏っている場合、「完全に公平なアルゴリズム」を設計することは数学的に不可能なのです。

この問題は、後の研究(Dreyfus and Barocas, Hardt et al)により詳細に分析されました。

COMPASの影響と法的対応

COMPASが生じさせた具体的な害

判例の分析により、COMPASのスコアが、実際に裁判官の判決に影響を与えていることが確認されました。

高いリスクスコアを受けた被告人は、保釈が許可されにくくなり、獄中にある期間が長くなるという現象が統計的に有意に検出されました。

結果として、冤罪の可能性のある黒人被告人が、不当に長期間獄中に留置される危険が高まったのです。

法的な対応と規制

COMPASスコアが公開法廷で使用される際、「科学的根拠は確認されていない」という指摘がなされました。

複数の州では、COMPASスコアの使用を制限するか、あるいは告発された本人に対して、COMPASの評価結果と評価根拠を開示することを要求するようになりました。

ウィスコンシン州最高裁判所の判決(State v. Loomis, 2016)では、裁判官が被告人の判決決定の際にCOMPASを参考にすることは認められるが、被告人にはスコアの詳細が知らされる必要があるとしました。

アルゴリズムバイアスの本質

COMPASの事例から、アルゴリズムバイアスについて、重要な教訓が得られます。

教訓1:「客観性」という幻想

アルゴリズムは、人間による判断より「客観的」であると考えられることが多いです。しかし、訓練データが偏っていれば、アルゴリズムが出力するバイアスも偏ります。

むしろ、アルゴリズムのバイアスはしばしば「科学的」「データに基づいた」という衣をまとっているため、人間が異議を唱えにくくなるのです。

教訓2:データの「歴史」を見落としてはいけない

訓練データは、単なる「事実の記録」ではなく、その社会が過去に下した判断や実行した差別を反映しています。

データを「客観的」と見なして、そのまま機械学習に用いると、過去の不正が現在のアルゴリズムに組み込まれ、さらに増幅されます。

教訓3:説明責任と透明性の欠如

COMPASの開発企業Northpointe(現EQUivant)は、アルゴリズムの詳細を企業秘密として公開しませんでした。

結果として、被告人や裁判官は、なぜCOMPASがそのようなスコアを付与したのか、理解することができませんでした。

これは、司法制度で極めて重要な「説明責任」という原則に違反しています。

教訓4:「公平性」は単一の指標ではない

前に説明した通り、異なる公平性基準は互いに矛盾する可能性があります。

したがって、「このアルゴリズムは公平か、不公平か」という二項的な判断は、技術的に不正確なのです。

むしろ、「このアルゴリズムが優先する公平性基準は何か」「その選択により誰が利益を受け、誰が損害を被るか」という問いを立てるべきです。

他の司法AIシステムへの波及

COMPASの問題は、米国の司法制度で使用されている他のAIシステムにも波及しました。

保釈判断AI:被告人の保釈条件を判定するシステム。COMPASと同様のバイアスが指摘されている。

再居住プログラム推薦AI:刑期終了後の更生プログラムを推奨するシステム。

警察活動の予測AI:犯罪が起こりやすい地域を予測し、警察配置を決定するシステム。

これらのシステムも、訓練データの歴史的バイアスにより、黒人や少数民族に対する差別を増幅する可能性が指摘されています。

AI公平性研究への影響

COMPASの事例は、アカデミア界におけるAI公平性研究を大きく促進しました。

公平性の数学的定義:複数の公平性基準の矛盾を形式化する研究が進みました。

バイアス検出手法:訓練データに潜むバイアスをより効果的に検出する方法が開発されました。

規制のあり方:AIの司法利用に対する法的規制枠組みについての議論が活発化しました。

司法制度でのAI使用に関する現在の議論

支持者の見方

データに基づいた判断により、裁判官の個人的偏見が軽減される可能性がある。

一貫性がある:同じ情報に対して、常に同じスコアが返される(人間の判断の揺らぎがない)。

効率性:大量の被告人の評価を迅速に実施できる。

批判者の見方

訓練データの歴史的バイアスが、アルゴリズムに組み込まれる。

説明責任の欠如:被告人が、なぜそのスコアが付与されたかを理解できない。

「科学的」というレッテルにより、実は不公平な判断が正当化される危険。

人間の自由と尊厳に関わる決定を、ブラックボックスアルゴリズムに委ねるべきではない。

今後の課題と展望

透明性と説明責任

司法制度でのAI使用については、完全な透明性と説明責任が必須です。

これは、企業秘密という名目で、アルゴリズムの詳細を隠蔽することは許されないことを意味します。

多様性のあるデータ収集

訓練データから歴史的バイアスを可能な限り除去する必要があります。

これは、訓練データの収集段階から、多様な視点を取り入れることを意味します。

定期的な監査と改善

導入後も、アルゴリズムが実際に差別的に機能していないか、定期的に監査する必要があります。

人間による最終判断

高リスク領域(特に、人命や自由が関わる司法判断)では、アルゴリズムの推奨に頼るのではなく、人間が最終的な責任を持つべきです。

まとめ

COMPASは、再犯予測という一見「科学的」で「客観的」な目標を掲げていながら、実際には米国の司法制度に組み込まれた歴史的人種差別を増幅するシステムでした。

ProPublicaの2016年調査により、黒人被告人に対して白人被告人より高いリスクスコアが付与される系統的なバイアスが明らかになりました。

この事例は、以下の重要な教訓を示しています:

訓練データは「客観的」ではなく、社会の過去の判断や差別を反映している。

アルゴリズムの「客観性」は幻想であり、バイアスはより巧妙に隠蔽されてしまう。

複数の公平性基準は互いに矛盾する可能性があり、完全に公平なアルゴリズムを設計することは不可能なこともある。

人間の自由と生命に関わる決定の際は、アルゴリズムの透明性と説明責任が絶対的に必須である。

次のステップとして、ProPublicaの原論文を読んでみたり、COMPASに関する裁判記録を確認してみたり、アルゴリズム公平性に関する学術論文(Hardt et al., Dreyfuss and Barocasなど)を学んでみたり、自分の関心のある領域(採用、与信、医療診断など)でのAI使用におけるバイアスのリスクを検討してみたりすることをお勧めします。その学習を通じて、AIシステムが社会に与える不可視の影響と、倫理的設計の重要性がより深く理解できるようになるでしょう。

投稿者プロフィール

山崎講師
山崎講師代表取締役
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
海外放浪の末、2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します!
この記事に間違い等ありましたらぜひお知らせください。

学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。