事前にサンプル数を決めていれば、問題にならないのではないでしょうか？

平均値の差の検定の説明をする時に、「意味がないほど、平均値の差が小さくても、P値がとても小さくなることがあります。そのため、P値だけを見て、効果の有無を判断しないでください。」という説明もしています。

その説明をしたら、この質問をいただきました。

質問者のご見解

筆者は、検定の入門として説明していたのですが、質問者は、事前に一通り統計学を勉強されていました。

そして、「検定では、有意水準と検出力とサンプル数を最初に自分で決める。これを決める時には、平均値の差がどの程度なら、有意と考えるのかも合わせて決める。」というように理解されていました。

そのように理解されているので、「意味がないほど、小さな平均値」というものが出て来ることの問題点は、「手順がおかしい」として考えていらっしゃいました。

質問者のご指摘にあったのは、サンプル数を固定する統計学にある手法になります。これはこれで、使える場面が限定されますし、そのような場面でも実施時の難しさを持っています。

筆者の説明は、既に蓄積されているデータを分析する時の話をしていました。

この状況では、「意味がないほど、平均値の差が小さくても、P値がとても小さくなる」という事が起きます。