「有意水準」「有意差」「p値」の違い
山崎講師「有意水準」「有意差」「p値」の3つは、統計学やデータ分析においてよく使われる重要な概念です。似たような言葉に見えるかもしれませんが、それぞれの役割や意味は異なります。この違いを理解することは、統計的な結論を正確に解釈するために非常に重要です。
有意水準とは？
有意水準（Significance Level）は、統計的仮説検定において、「帰無仮説（効果がない、あるいは違いがないという仮定）が正しい場合に、誤ってそれを棄却してしまう確率」のことです。
もっと簡単に言うと、「データに基づいて判断を下す際、どれだけの誤りを許容するか」という基準です。一般的に、有意水準は「α」と表され、0.05（5%）や0.01（1%）などがよく使われます。
例えるなら、コインを投げるゲームで、コインが偏っているかどうかを判断する場面があるとします。有意水準が5%であれば、「5%の確率で、本当は公平なコインでも偏っていると誤って判断してしまうことが許される」という意味になります。
p値とは？
p値（p-value）は、「帰無仮説が正しいと仮定した場合に、実際に観測されたデータ以上に極端な結果が得られる確率」のことです。
もう少し簡単に言うと、p値は「現在のデータが、偶然でここまで偏った結果になる確率」を示します。p値が小さいほど、偶然で説明できる可能性が低いと考えられるため、「帰無仮説はおかしい」と判断されます。
例を挙げると、p値が0.03であれば、「帰無仮説が正しいと仮定した場合、このデータ以上に偏った結果が出る確率は3%しかない」ということです。
有意差とは？
有意差（Significant Difference）は、「統計的に意味のある差がある」という結論を意味します。つまり、帰無仮説を棄却できる場合、その差が「偶然によるものではない」と判断されたときに「有意差がある」と言います。
実際の検定で、有意水準とp値が重要な役割を果たします。有意水準と比較して、p値がそれよりも小さければ「有意差がある」と判断され、逆にp値が大きければ「有意差はない」とされます。
3つの関係性
- 有意水準は、自分で決める基準であり、「どの程度の誤りを許容するか」を設定するものです。
- p値は、実際にデータを使って計算された確率です。観測された結果が偶然にすぎないかどうかを判断するための指標です。
- 有意差は、p値が有意水準よりも小さい場合に「統計的に意味のある差がある」と判断される結果です。
具体例で説明
例えば、Aという薬がBという病気に対して効果があるかどうかを検証するとします。
- 有意水準を0.05（5%）に設定した場合、これは「5%以下の確率で、薬が効果がない場合でも誤って『効果がある』と判断してしまうことを許容する」という意味になります。
- 実験の結果、p値が0.02と計算されたとします。これは、「薬が本当に効果がないと仮定しても、このデータが偶然に出現する確率は2%しかない」という意味です。
- p値が有意水準（0.05）よりも小さいため、この場合「有意差がある」と判断され、薬は統計的に効果があると言えるのです。
まとめ
- 有意水準は「誤りをどれだけ許すかの基準」
- p値は「結果が偶然で起こる確率」
- 有意差は「統計的に意味のある差があるかどうかの判断」
今後の学習では、まず統計的仮説検定やp値の計算方法を詳しく学び、さらに実際のデータ分析での使い方に慣れていくことが大切です。次のステップとしては、具体的な統計検定の手法（t検定やカイ二乗検定など）や、その結果の解釈について学んでみましょう。
