下の絵は、統計量の分布のグラフについて、95%信頼区間(CI:Confidence Interval)とP値を書き込んだ図です。 P値と信頼区間の関係 のページに同じ絵があります。
信頼区間は、オレンジ色の範囲です。
p値(p value)は、赤い部分の面積です。
上の絵は、P値と信頼区間についての一般的な説明です。 この絵で説明しているP値や信頼区間というのは、世の中で広く知られています。
ところで、上のP値は、統計量が信頼区間の中心(平均値)だった場合の値として求められます。 そのため、信頼区間の範囲で統計量が動けば、P値も変わります。
ややこしい話になりますが、「P値の信頼区間」というものがあります。
下記の参考文献に、P値の分布関数の説明があります。
正式には、分布関数から信頼区間を導出する方が良いのかもしれませんが、筆者は、統計量の信頼区間から求めれば良いのではないかと考えています。
つまり、統計量の信頼区間の上側と下側を、検定統計量の式に代入すれば計算できます。
平均値の差の効果量の検定 、 比率分布の差の効果量の検定 、 シフトの効果量の検定 、 分散比の効果量の検定 、 相関係数の効果量の検定 のページには、P値の信頼区間の具体的な計算があります。
「P値 その正しい理解と適用」 柳川堯 著 近代科学社 2018
この本では、P値にはばらつきがあるので、ばらつきを考慮せずに単純に「P値は5%以下」といった基準で判断することは、誤用としています。
P値を乱数で発生させて、ばらつきのシミュレーション結果も示しています。
また、P値の分布関数も示しています。