ネイマン・ピアソン流の検定 では、 有意水準と検出力とサンプル数 に密接な関係があります。
この性質の活用として、サンプル数を固定する統計学が考案されています。
P値を巡る混乱のひとつに、「どんなに小さな差でも、サンプル数が多ければ有意になる」という、P値の性質があります。
この対策として、生まれたのが、「サンプル数は事前に決めておいて、有意かどうかを判断する」という方法です。 有意水準、検出力、サンプル数の設計 を事前にします。
「有意になったのは、サンプル数が多いからではありません。」とするための方法論になっています。
この対策は、サンプル数不足の防止としても期待されています。
まず、既にデータがある状況では使えないです。 「サンプル数が10個あるが、設計上は、5個になっているので、10個の中から選んで使う」という進め方は、不自然です。 確実な判断をするのなら、10個使った方が良いはずです。
「サンプルサイズの決め方」 永田靖 著 朝倉書店 2003
サンプル数を固定する統計学が考案された経緯について、説明されています。
「P値 その正しい理解と適用」 柳川堯 著 近代科学社 2018
探索的な研究の時には、フィッシャー流とネイマン・ピアソン流の違いについてや、過去の歴史を振り返った後に、現代版として、両者の使い分けを説明しています。
順路 次は 帰無仮説と対立仮説の検定