検定による判断の弱点

検定では、データのグループに正規分布などの分布を当てはめることで、「このデータは、このグループのデータではない」という判定ができるようにしています。

とても便利な理論なのですが、弱点もあります。判断ミスの可能性です。

検定で起こる判断ミス

正規分布に限らず、検定で使われる分布は、無限に裾野が広がっている形をしています。裾野というのは、確率的に発生しにくい領域です。

検定では、この裾野の領域にあるデータは、「このグループのデータではない可能性がある」と考えることで、判定をします。

この判定に使う基準の確率は、有意水準やα（アルファ）と呼ばれています。

無限に裾野が広がる分布を使いますので、有意水準を０に設定することはできません。一般的には、５％（0.05）を使うことが多いです。

5%（0.05)を基準にしますが、「判定ミスの確率が5%」という意味ではないです。

5%の確率になるくらい起こりにくいことという意味です。

統計学の解説では、第１種と第２種の誤りという種類があります。

上記の話は、第１種の話と類似していますが、フィッシャー流の検定では、第２種に相当するものは、ないです。