帰無仮説と対立仮説の検定

２種類の対立仮説のページにあるように、ネイマン・ピアソン流の検定では、分布が２つあります。

分析の作業が１つの場合

この場合、帰無仮説について、P値を調べて、有意水準以下かどうかを見ることで、第１種と第２種の誤りの両方を考慮した分析になっています。

一方、有意水準、検出力、サンプル数の設計を事前にしていない場合、帰無仮説が否定されたからといって、直ちに対立仮説が肯定される理論にはなっていません。

「では、対立仮説はどうやって検証するのか？」となりますが、帰無仮説と同じ手順で調べます。

「サンプル数を増やせば、検出力が上がる」というのは、その通りなのですが、サンプル数を増やすと、どんなに小さな差でも、有意になるという、検定方法の特徴と、同じ話になっています。

サンプル数が多い事によって、意味のない差について、「有意な差」があるとなって、研究結果が間違った方向に進んでしまう問題に対しての対策にはなっていません。

「P値だけで判断するのは、研究方法として間違い」ということの対策として、一般的な解説では、「検出力でも確認する」が候補になることがあるようです。ただし、その考え方は、フィッシャー流と、ネイマン・ピアソン流を混同して、「どんな検定でも、対立仮説の分析が必要」という誤解によるところがあるようです。

「P値が高いというのは、第１種の過誤をしにくく、検出力が高いというのは、第２種の過誤をしにくい」という解釈が、一般的なようです。ただし、この解釈が正しいのは、統計量の数字の違いだけの検証を目的としている場合になります。

統計量の分布は、サンプル数が多ければ、どんなに小さな差でも、P値が限りなく小さく、検出力が限りなく大きく性質があるので、データ全体について差の有無を議論したい時は、参考にならない指標です。