第１種と第２種の誤り

検定では、データのグループに正規分布などの分布を当てはめることで、「このデータは、このグループのデータではない」という判定ができるようにしています。

とても便利な理論なのですが、弱点もあります。その弱点は、第１種の誤り（第１種の過誤）と、第２種の誤り（第２種の過誤）の２種類があります。

第１種の誤り

正規分布に限らず、検定で使われる分布は、無限に裾野が広がっている形をしています。裾野というのは、確率的に発生しにくい領域です。

検定では、この裾野の領域にあるデータは、「このグループのデータではない可能性がある」と考えることで、判定をします。

この判定に使う基準の確率は、有意水準やα（アルファ）と呼ばれています。

無限に裾野が広がる分布を使いますので、有意水準を０に設定することはできません。一般的には、５％（0.05）を使うことが多いです。

この５％の意味は、「このグループのデータなのに、『このグループではない』、と、間違って判定してしまう確率が５％ある」という意味になります。このような間違いが、第１種の誤りです。

例えば、１組の平均点が70点で、２組の平均点が80点だったとします。

１組のAさんが78点でした。２組のBさんは73点でした。

１組のAさんを正しく分類するために、「79点未満なら１組、79点以上なら２組」という判定基準を作った場合、 Bさんは１組と判定されてしまいます。このような間違いが、第２種の誤りです。

ちなみに、１組のCさんが81点だったために、「２組」と判定されてしまう間違いは、第１種の誤りになります。

検定をする時は、注目しているグループの分布のことばかり考えがちですが、第１種の誤りの確率を少なくすることを優先すると、第２種の誤りの確率が高くなります。

第１種の誤りの確率はαと呼ばれることがありますが、第２種の誤りの確率はβ（ベータ）と呼ばれます。

βが小さくなると、（１－β）は大きくなります。

（１－β）は「検出力」と呼ばれます。検出力が高いということは、第２種の誤りが起きにくいということになります。検出力は、「陽性のものは、陽性と正しく判定したい」と言った目的がある時の、指標になります。

製造業の品質管理、等で合格基準（しきい値・閾値）を厳しくして、不良品の疑いのあるものを積極的に不合格と判定すると、良品を「不合格」として、捨ててしまう確率が上がります。これは、第１種の誤りが増えていることになります。そのため、合格基準はできるだけ甘くしたいです。

一方で、合格基準が甘くなると、不良品を「合格」と判定して顧客に届けてしまう確率が上がります。これは、第２種の誤りが増えていることになります。

消費者の立場では、合格基準は厳しいのが当たり前と思いますが、合格基準が厳しいことによって、良品を大量に捨ててしまうようなことが起こると、経営が成り立たなくなって来ますし、環境にも良くないです。

厳しい合格基準でも、歩留100%になるようなものづくりができれば、問題はないのですが、そうはなかなかならないので、いつも２種類の誤りのバランスは考える必要があります。