以下は、筆者の私見です。 誤解があれば、ご教示いただけると幸いです。
帰無仮説
を、「差がない（同じ）」と置くことに対して、
「まったく同じ物は、そもそもあり得ない。よって、あり得ないことを仮説にしている。
だから、仮説が棄却されやすくなるのは、当たり前の結果。
そして、間違った結論の論文が大量に作られている。」
という批判を、時々、見かけます。
「統計学的に同じ」かどうかは、分布がどれくらい離れているかで判断します。
分布が、ある程度離れていれば、例えば、平均値の差が、標準偏差の大きさよりも離れていれば、「同じではない」と判断します。
「差がない（同じ）」というのは、そういった意味での同じです。 検定の理論は、「まったく同じなのか？」ということを確認する理論としては、作られていません
つまり、「まったく同じなのか？」を評価しようとして、「まったく同じではない」という結果になったから、「同じではない」という結論が大発生している訳ではないです。
まず、統計学の教科書には、 有効数字と分解能 の話は乗っていないので、これらを踏まえていない議論になっていることがあります。
1mmが最小目盛になっている定規では、1mm未満の違いが測れません。 例えば、0.2mmの違いがあったとしても、「同じ」ということになります。
これは、統計学以前の データリテラシー の話題になります。 科学的な研究でも、工場の品質管理でも、大事な知識です。 ちなみに、 ゲージR＆R は、こういった評価のための統計学的な手法です。
「統計学的に同じ」の考え方は、有効数字や分解能の決め方にも使われます。
「間違った結論の論文が大量に作られている。」という事についての原因は、帰無仮説の設定の問題ではないです。 また、統計学的な判断に使われているP値の問題でもないです。
問題は、評価したい事と、P値が合っていないことです。
この話の詳細は、 統計的な検定と、統計教育の歴史 のページにあります。
