【新人エンジニア向け】統計学は「ケンカ」から進化した?フィッシャーとピアソンの熱すぎる確執
こんにちは。ゆうせいです。
新人エンジニアの研修を担当されているみなさん、統計学の講義中、受講生たちの目が「記号だらけで眠い」と訴えていませんか。
そんなときは、少し趣向を変えて、教科書の裏側にある「人間ドラマ」を話してみてください。
実は、私たちが普段使っている統計学は、ある二人の天才の「数十年にわたる大喧嘩」によって磨き上げられたものなのです。
その二人とは、統計学の父と呼ばれる「カール・ピアソン」と、現代統計学の基礎を築いた「ロナルド・フィッシャー」です。
今日は、まるで映画のようにドラマチックな彼らの確執と、そこから生まれた「データの見方の違い」についてお話しします。この歴史を知れば、無機質な数式が少しだけ熱を帯びて見えてくるはずです。
「ビッグデータ」の帝王、ピアソン
まず紹介するのは、19世紀末に活躍した統計学界の絶対王者、カール・ピアソンです。
彼は、現代で言うところの「ビッグデータ信奉者」でした。
数千、数万という大量のデータを集め、それを美しい数式で記述することに情熱を注ぎました。
みなさんがよく使う「相関係数 」や「カイ二乗検定
」を作ったのも彼です。
ピアソンは、当時の統計学界のトップにある学術誌を支配しており、自分の考えに合わない論文は掲載しないという、強権的な一面を持っていました。
「データは大量にあって当たり前。それをいかに正確に要約するかが統計学だ」
それが彼、そして当時の統計学の常識だったのです。
「スモールデータ」の革命児、フィッシャー
そこに現れたのが、若き天才ロナルド・フィッシャーです。
彼は農業試験場で働いていました。農作物の実験というのは、データを集めるのが大変です。作物が育つには一年かかりますし、畑の広さにも限界があります。
「数万個のデータなんて集められない。手元にあるわずかなデータ(スモールデータ)から、真実を見抜く方法はないのか?」
そう考えたフィッシャーは、少ないデータから全体を推測する「推測統計学」という新しいジャンルを切り開きました。「分散分析」や「尤度(ゆうど)」といった概念は、彼の発明です。
しかし、ここで事件が起きます。
フィッシャーが書いた革新的な論文を、当時のボスであるピアソンが却下してしまったのです。
「こんな少ないデータで何がわかるというのだ。私の理論と違う」
さらにピアソンは、フィッシャーの理論に対する批判記事を執筆しました。これにフィッシャーは大激怒。「あの老害が!」と思ったかどうかは定かではありませんが、ここから二人の、死ぬまで続く確執が始まりました。
ケンカが統計学を最強にした
この二人の対立は、単なる好き嫌いの問題ではありませんでした。これは「エンジニアがデータをどう扱うべきか」という、根本的な哲学の対立でもあったのです。
ピアソンのアプローチ(記述統計):
「今あるデータを、ありのまま正確に記述しよう」
これは現在の「データマイニング」や「可視化」に通じる考え方です。大量のログ解析などは、こちらの流派に近いと言えます。
フィッシャーのアプローチ(推測統計):
「データは不完全だ。だからこそ、背後にある法則を確率的に推測しよう」
これは現在の「A/Bテスト」や「機械学習のモデル推定」に通じる考え方です。
二人が互いの理論の粗を探し合い、激しく論争したおかげで、統計学は「大量データの処理」と「少数のデータからの推測」という両方の武器を手に入れることができました。
フィッシャーは後に、ピアソンの死後、彼が支配していた学術誌の座を奪い取り、自分の理論を世界標準にしていきました。まさに執念の勝利です。
この歴史を知るメリットとデメリット
このエピソードを研修で話すことには、次のような効果があります。
メリット:手法の使い分けが直感的にわかる
「なぜここで検定をするの? 平均値を見るだけじゃダメなの?」という新人の疑問に答えやすくなります。
「平均値を見るのはピアソン的なアプローチ。でも、それが偶然じゃないと証明したいならフィッシャーの知恵(検定)を借りよう」と説明すれば、目的の違いがクリアになります。
デメリット:派閥争いに深入りしすぎる
統計学の歴史は沼が深いです。ベイズ統計と頻度論の対立など、他にも論争は尽きません。
あくまで「実務で使うツールの背景」としての紹介に留め、学術的な細かい論争に時間を使いすぎないよう注意しましょう。
今後の学習の指針
いかがでしたか。
私たちが普段何気なく使っているツールは、天才たちのプライドをかけた戦いの遺産でした。
この話をした後、新人エンジニアには次のようにアドバイスしてあげてください。
「現場に出れば、ピアソンのように大量のログを分析する日もあれば、フィッシャーのように少ないテスト結果からバグの原因を推測しなければならない日もあるでしょう」
「大切なのは、どちらか一方だけを信じるのではなく、目の前の課題に合わせて二人の知恵を使い分けることです」
数式の奥にある「人間味」を感じながら、統計学という強力な武器を使いこなしていってください。
それでは、またお会いしましょう。
セイ・コンサルティング・グループでは新人エンジニア研修のアシスタント講師を募集しています。
投稿者プロフィール
- 代表取締役
-
セイ・コンサルティング・グループ株式会社代表取締役。
岐阜県出身。
2000年創業、2004年会社設立。
IT企業向け人材育成研修歴業界歴20年以上。
すべての無駄を省いた費用対効果の高い「筋肉質」な研修を提供します!
この記事に間違い等ありましたらぜひお知らせください。
学生時代は趣味と実益を兼ねてリゾートバイトにいそしむ。長野県白馬村に始まり、志賀高原でのスキーインストラクター、沖縄石垣島、北海道トマム。高じてオーストラリアのゴールドコーストでツアーガイドなど。現在は野菜作りにはまっている。