部分毎に分けて、 検定 を繰り返すことで、その中の1回は「有意性あり」となることがあり、結論が「有意」となることを、多重性の問題と言います。 多重性の問題に対策している検定の方法もあります。
なお、多重比較の方法が紹介される時は、 分散分析 の欠点として、群間の差がどこかにあることはわかっても、どこにあるのかがわからない点を挙げ、 どこにあるのかを探す方法として、多重に検定することがあるという流れで解説することが一般的なようです。
一方、筆者が 実験データの解析 として、分散分析を教わった時は、どこに差があるのかは要因効果図という群ごとの平均値のグラフで確認するようになっていましたので、 多重比較の話にはなりませんでした。 品質学 の実務では、統計的な計算はあくまで参考で、実際の測定値の表れ方や、測定値の背後の知識なども含めて判断して行かないと危ないので、 こういった教え方になっていたようです。
「入門統計学 検定から多変量解析・実験計画法・ベイズ統計学まで」 栗原伸一 著 オーム社 2021
入門書ですが、扱っている内容が幅広く、
一般化線形混合モデル
や
品質工学
のコンパクトな説明もあります。
第2版で、多重比較法の解説を増したそうです。
実務で使う統計学はそんなに難しいものが必要ない、という認識を著者がお持ちです。
筆者の実務の中で、字引のようにして使えるような内容がたくさん詰まっている感じの本です。
多重性の問題に対策している方法として、Bonferroni法(有意水準調整型)、Tukey法(分布調整型)、Scheffe法(検定統計量調整型)を紹介しています。
ただ、これらの方法を多重に使う使い方ができるため、多重性の問題は、これらの方法を使っていれば心配ない訳ではないそうです。
「基礎統計学」 鈴木良雄・廣津信義 著 講談社 2012
栄養科学のシリーズの一冊だからだと思いますが、リスクの分析をするための
クロス集計
に使われる統計学の話があります。
多重比較と分散分析の両方をすると、これが多重性になるので、併用はすべきでないとしています。
多重比較法としては、パラメトリックとして、テューキー法、フィッシャーのLSD法、ダネット法、ウィリアムズ法、
ノンパラメトリックとして、スティール-ドゥアス法、スティール法、シャーリー-ウィリアムズ法を挙げています。
順路 次は 統計的な検定と、統計教育の歴史