難解な数式が「スイッチ」に見える?新人エンジニアのためのベルヌーイ分布入門
こんにちは。ゆうせいです。
みなさんは、機械学習の参考書や統計学のWebサイトを開いたときに、突然現れる数式を見て、そっとブラウザを閉じた経験はありませんか。
特にエンジニアのみなさんが最初につまずきやすいのが、確率分布の数式です。
今日はその中でも、もっとも基礎的でありながら、数式の見た目が少しとっつきにくいベルヌーイ分布についてお話しします。
なぜあんなに複雑な指数の形をしているのか。
実はあれ、エンジニアのみなさんにはおなじみの「if文」のようなスイッチの役割を果たしているだけなのです。
この秘密を知れば、難解に見える数式が、急に親しみやすいツールに見えてきますよ。
そもそもベルヌーイ分布とは
まずは、この分布が何を扱っているのかをイメージしましょう。
名前は偉そうですが、やっていることはコイントスと同じです。
結果が2つしかない世界のことを指します。
コインを投げて表か裏か。
クイズに正解か不正解か。
Web広告がクリックされたか、されなかったか。
この白黒はっきりした結果を、数学の世界では「成功」と「失敗」、あるいは「 」と「
」で表します。
そして、成功する確率(表が出る確率など)を という文字で置きます。
例えば、歪みのないコインなら表が出る確率は なので、
ですね。
もし、表が出る確率が なら、裏が出る(失敗する)確率は、全体
から引いて
になります。
ここまでは大丈夫でしょうか。直感的にもわかりますよね。
謎めいた公式の正体
さて、問題の公式です。
ベルヌーイ分布の確率 を求める式は、教科書にはこう書かれています。
これを見て、「うわっ」と思いませんでしたか。
なぜわざわざ 乗したり、
乗したりするのでしょうか。
普通に「成功なら 、失敗なら
」と日本語で書けばいいじゃないか、と思いますよね。
しかし、数学者はこの「場合分け」を嫌います。
「成功のときはこの式、失敗のときはあの式」と2行に分けて書くのが面倒なのです。
なんとかして、たった1行の数式で両方のパターンを表現したい。
そこで発明されたのが、この指数を使ったトリックです。
指数が「スイッチ」の役割をする
この数式の謎を解く鍵は、中学校で習った指数のルールにあります。
以下の2つのルールを思い出してください。
- どんな数も、1乗するとその数のままになる(
)
- どんな数も、0乗すると1になる(
)
このルールを使って、先ほどの数式に値を代入してみましょう。
結果 には、成功を表す
か、失敗を表す
のどちらかが入ります。
ケース1:成功した(kが1)とき
数式の の部分に
を入れてみます。
計算を進めるとこうなります。
ここで、さきほどのルールを使います。
の1乗は
です。
の0乗は
です。
つまり、
なんと、ちゃんと「成功する確率 」だけが残りました。後ろの
の部分は、0乗されたことで
になり、消えてしまった(無効化された)のです。
ケース2:失敗した(kが0)とき
今度は に
を入れてみましょう。
計算を進めます。
今度は の方が0乗されて
になり、消えました。
代わりに後ろの が生き残ります。
つまり、
ちゃんと「失敗する確率」が出てきましたね。
エンジニア視点で見ると「フラグ処理」
いかがでしょうか。
この数式は、 が
なのか
なのかによって、
を有効にするか、
を有効にするかを自動で切り替えているのです。
エンジニアのみなさんなら、プログラムでフラグ管理をしたことがありますよね。
という変数がフラグになっていて、
フラグが立っていれば( )、前半の項がアクティブになる。
フラグが降りていれば( )、後半の項がアクティブになる。
あの数式は、数学的な「if文」であり、絶妙なスイッチ機能付きの計算式だったのです。
メリットとデメリット
この書き方には、明確な理由と、少しの難点があります。
メリット
計算機で扱いやすい
機械学習、特に「ロジスティック回帰」などのアルゴリズムをプログラムで実装するとき、場合分けのif文を書くよりも、1つの数式で表されていた方が、微分などの計算が一気にできて非常に都合が良いのです。
数式が1行で済む
論文や教科書を書くとき、スペースを節約でき、見た目もシンプル(数学者にとっては美しく)になります。
デメリット
直感的にわかりにくい
今日解説したような「0乗の性質」を瞬時にイメージできないと、ただの複雑な記号の羅列に見えてしまいます。初心者の学習ハードルを上げてしまう要因の一つです。
計算ミスを誘発する
手計算でやろうとすると、指数の計算を間違えるリスクがあります。
今後の学習の指針
ベルヌーイ分布の数式の正体、それは「0乗すると1になる」という性質を巧みに利用した、数学的なスイッチでした。
これを知っているだけで、機械学習の参考書に出てくる (シグマ)や
(パイ)がついた複雑な式も、「あ、これはただのスイッチだな」と冷静に見られるようになります。
これからの学習の指針として、次は「二項分布(にこうぶんぷ)」の式を見てみてください。
ベルヌーイ分布は1回の試行でしたが、二項分布はそれを 回繰り返すものです。
今日の知識があれば、二項分布の式の中に隠れている「ベルヌーイ分布のスイッチ」がきっと見つかるはずですよ。
数学は、丸暗記するよりも、こうして「なぜ?」を紐解く方が圧倒的に面白くなります。
また一緒に、数式の裏側にある物語を読み解いていきましょう。