検定できることの、頻度論とベイズ統計学の違い

以下は、筆者の私見です。誤解があれば、ご教示いただけると幸いです。

ベイズ統計学の利点

検定の用途については、ベイズ統計学の利点として、以下が説明されることがあります。

頻度論では、信頼区間を使うが、信頼区間は抽象的でわかりにくい。ベイズ統計学では、確信区間を使うが、これは平均値の分布そのものであり、わかりやすい。
ベイズ統計学で平均値の差の検定をすれば、サンプル数が多ければ、どんなに小さな差でも、有意になるようなことは起きない
頻度論では、特定の分布を仮定してから分析する。ベイズ統計学では、一様分布や、分散が無限大など、帰無仮説と対立仮説のどちらにも偏っていない状態から、データのみを使って、仮説を検証できる。
ベイズ統計学では、MCMC法が発達したので、複雑な分布でも扱える。

上記について、以下では、ひとつずつ、私見をまとめてみました。

誤解の源泉としての、統計量の分布に詳しく書きましたが、これは信頼区間への誤解ではないかと思います。信頼区間も平均値の分布を見ています。

「平均値はデータの集計値で、分布は集計前のデータのもの」というのが、多くの人の理解の仕方と思いますので、「平均値の分布」という概念は、わかりやすいものではないです。

ベイズ統計学では、事前分布や尤度の形で、分布を明示的に定式化して扱います。一方、頻度論では、確率密度関数を明示的に扱うことは、あまりしないです。信頼区間は分布から求めるという手順ではなく、直接範囲を求める手順になっています。

このため、「ベイズ統計学だけが、平均値の分布を見ている」という解釈につながっているのかもしれません。

本当にそうだとすれば、ベイズ統計学による平均値の差の検定として作った方法のどこかに、間違いがあります。

例えば、大部分が10くらいのデータに、ひとつだけ1000というデータが混ざっているとします。この時、サンプル数が10の場合は、平均値が100くらいになります。サンプル数が1000の場合では、平均値が11くらいになります。つまり、求まる平均値への1000の影響がまったく違います。

この性質と似ているのですが、サンプル数が多いと、求めた平均値の精度が上がるのは、平均値という指標の性質です。

そのため、頻度論かベイズ統計学かに関係なく、平均値の差の検定として作られた方法なら、サンプル数が多ければ、どんなに小さな差でも、有意になる方法になります。

いろいろな形で、事前分布を仮定できるのは、その通り、と思います。

ただし、事前分布が「１」の場合、つまり、事前分布に何も仮定しない場合は、頻度論で尤度モデルにした場合と同じになるので、「偏りのない仮説を使えるのは、ベイズ統計学だけ」という訳ではないと思います。

その通り、と思います。

ただし、研究の結果得られる結論は、「そのデータだから、そうなった」という限定的なものになり、汎用的な法則にはしにくいようです。

「頻度論の方が良い」という事は、あまり語られませんが、筆者は以下のように考えています。