サンプル数の量と、研究の確度

以下は、筆者の私見です。誤解があれば、ご教示いただけると幸いです。

統計学には、「サンプル数が多いほど良い」という考え方があります。

「サンプル数が多いほど良い」のはじまり

コインを投げて、２回「表」が続いたからと言って、「『表』が出やすいコインだ」と思う人はいないと思います。

しかし、「５回続けて投げたら、連続で『表』だった。」や、「10回中９回が『表』だった。」となれば、「『表』が出やすいコインだ」という可能性が高くなって来ます。

「サンプル数が多いほど良い」という研究の考え方は、ここから来ています。

このサイトでは、 21世紀の検定という考え方を持ち出しています。 21世紀の検定から見た時には、現在、統計学の教科書に乗っている方法は、すべて「従来の検定」という呼び方になります。

従来の検定では、P値という指標を使いますが、従来の検定のP値は、サンプル数が多ければ多いほど、小さくなる性質があります。

このため、例えば、「２つのグループの平均値に差はあるか？」という調査に、従来の検定を使うと、どんなに小さな平均値の差でも、サンプル数さえ多ければ、「平均値に差がある」という結果になります。

これと「サンプル数が多いほど良い」という話は区別がしにくいです。

P値には、「効果があることで小さくなった」と、「効果はないけれども、サンプル数が多いので小さくなった」の２つの可能性があります。

効果がない時に、サンプル数が多ければ、効果がない事をより鮮明にできる指標として、従来のP値は作られていません。

なお、 21世紀の検定のP値には、「サンプル数が多ければ多いほど、小さくなる性質」がありません。また、「効果がない時に、サンプル数が多ければ、効果がない事をより鮮明にできる指標」として、P値の信頼区間を用意しています。