検定による判断 のページで、「P値だけではダメだ」ということの対策として、信頼区間を挙げています。
そのページでも少し書いていますが、信頼区間と、P値では、同じものを見ているので、信頼区間では対策にならないように、筆者は考えています。
以下は、 平均値の検定 を例にしていますが、他の検定でも、同様のはずです。
まず、ここでは、上のようなデータがあったとします。
そして、「帰無仮説を0とした時に、データの平均値は0と言えるか?」を検定したいとします。
次の手順で、
統計量の分布
を調べます。
標準偏差ではなく、標準誤差がばらつきの大きさになるので、元のデータよりも範囲が狭まります。
このデータは、サンプル数が20個なので、標準偏差を20の平方根で割った値が、標準誤差です。
上の統計量の分布のグラフの横軸を広げて、見やすくしてから、95%信頼区間(CI:Confidence Interval)とP値を書き込むと、以下になります。
信頼区間は、オレンジ色の範囲です。 p値(p value)は、0以下の部分の面積です。 p値の場合は、この面積の数字と、5%(片側検定の場合は、2.5%)という数字の大小関係を見ます。
信頼区間は、仮説がいくつなのかは関係なく、統計量の分布だけから求まります。 統計量の分布は、データだけから求まります。
P値は、統計量の分布だけでなく、仮説の数字もあると求まります。
信頼区間には、データだけから求まることを把握する指標としての使い方があります。