風邪薬の効果を検証
新しく開発した風邪薬に「回復を早める効果があるか」を検証する
データ収集
風邪を引いている人を 100 人集めて薬を飲んでもらい，回復日数を計測する
効果を確かめる
統計的検定の方針
収集した「投薬者の平均回復日数」とあらかじめ分かっている「一般人の平均回復日数」の差を比較する．この差が一定以上であれば薬に効果があるとみなす．
※ 一般人の風邪の回復日数はその分布（回復の平均日数、回復日数の個人差など) があらかじめ分っているものとする
統計的検定の手順
帰無仮説：「薬に効果がない」＝「薬を飲んでも飲まなくても回復日数に変わりはない」 対立仮説：「薬に効果がある」＝「薬を飲んだ方が回復日数が短くなる」
- 測定した 100 人の平均回復日数を算出
- 帰無仮説の確率分布（＝一般人の回復日数の確率分布）に従う環境で，測定した値になる確率を算出
- 算出した確率が低かった場合，「薬に効果がない」という帰無仮説を棄却し「薬に効果がある」という対立仮説を採用する
判断に使う数値
「一定以上の差がある」（有意差が認められた）という判断を下すためには数値的判断基準が必要
p 値：帰無仮説が正しい場合，観測値と等しいかそれより極端な値を取る確率 有意水準：p 値がどのくらい小さい場合に帰無仮説を棄却するか，その閾値
p 値が有意水準を下回る＝有意差が認められた
風邪薬のケースの場合
p 値
一般人から 100 人をランダムに選んだ場合の確率分布
p 値
- 平均回復日数が 3.7 日以下になる確率＝ 20%
- 平均回復日数が 3.2 日以下になる確率＝ 10%
- 平均回復日数が 2.9 日 以下になる確率 ＝ 5%
有意水準
検定前にあらかじめ決めておく
- 今回は有意水準＝ 5%に設定
判定方法
「薬を飲んだ人」100 人の平均が 3.7 日だった場合 → それは「一般人」100 人でも 20%の確率であり得る値＝薬に効果があるとは言えない（有意差が認められなかった）
「薬を飲んだ人」100 人の平均が 2.9 日以下だった場合 → それは「一般人」100 人でも 5%以下の確率でしかあり得ない値＝薬に効果があると言える（有意差が認められた）
p 値の解釈に関する注意点
p 値は効果を示すものではない
今回の風邪薬の場合では平均回復日数が 3.7 日以下になる確率＝ 20%だったが，サンプル数がもっと多かったり少なかったりすればこの 20%という値は変わる
何回も試行して有効な p 値を出してはいけない
p 値=0.05 の場合，100 回に 5 回しか起こらない低い確率を前提としているので，何回も試行するとその前提が崩れてしまう おみくじで大吉が出るまで何回も引くようなもの
p 値だけで判断してはいけない
p 値はあくまで指標の一つにすぎない その他の統計手法，実務上の考慮点などを鑑みて最終的な判断を下す必要がある
帰無仮説が棄却されなくても，帰無仮説が正しいということにはならない
帰無仮説が棄却されなかった＝有意差がが認められなかった つまり，帰無仮説が正しいということを示したわけではない