トップページ | ひとつ上のページ | 目次ページ | このサイトについて | ENGLISH

ノンパラメトリック検定

検定をする時に、正規分布などの、パラメータで決まる分布を前提にするのが、「パラメトリック検定」です。

パラメータで決まる分布を前提にしない検定方法も考案されていて、ノンパラメトリック検定と呼ばれています。

ノンパラメトリック検定の仕組み

ノンパラメトリック検定には、様々なものがありますが、パラメトリック検定とは進め方が違います。 中央値に対するプラスとマイナスの数の違いや、順位のばらつき方、全部の組合せからの割合、といったものを使います。

ノンパラメトリック検定では、場合の数を数え上げて、確率を求めるアプローチを採用しているものが多いようです。 「差がなければ、等確率になるはず。差があれば、偏る。」という考え方の応用になります。

ノンパラメトリック検定の分類

ノンパラメトリック検定には、様々なものがありますが、このサイトで扱っているパラメトリック検定と対応させると、以下の表になります。 黒がパラメトリック検定、オレンジがノンパラメトリック検定です。

カイ2乗検定は、パラメトリック?ノンパラメトリック?

カイ2乗検定は、「独立性の検定」とも呼ばれます。 下記の参考文献に限らず、「カイ2乗検定は、ノンパラメトリック」と説明している文献は、いくつか見かけたことがあります。

筆者が教わった時は、「度数の分布を正規分布で仮定して、ばらつき方を見るからカイ二乗分布を使う。」と教わりました。 期待度数(度数の期待値)が、行ごとや、列ごとの平均値なのも、その延長で考えて、納得できるものでした。 そのため、「カイ2乗検定は、パラメトリックという認識」で、筆者は上の表を作成しています。

ちなみに、「度数が30以下くらいだと、正規分布を仮定するのが難しいから適さない。」ということも教わりました。

なお、カイ二乗検定に使う分割表を作るための元データは、質的変数です。 「質的変数は、パラメトリックではない」という点に注目するのなら、カイ二乗検定は、ノンパラメトリック検定とみなしても良いかもしれません。

正確確率検定は、パラメトリック?ノンパラメトリック?

下記の参考文献に限らず、「正確確率検定は、ノンパラメトリック」と説明している文献は、いくつか見かけたことがあります。

正確確率検定は、「2*2の分割表を構成する4個の度数が、超幾何分布に従っている」という知見の元に作られています。 その意味では、「4個の度数が、パラメータ」と考えられます。

そのため、「正確確率検定は、パラメトリックという認識」で、筆者は上の表を作成しています。

マクマネー検定は、パラメトリック?ノンパラメトリック?

マクマネー検定 もカイ二乗分布を使う検定です。 この点だけを考えると、マクマネー検定もカイ2乗検定と同様に、パラメトリック検定と分類できそうです。

しかし、マクマネー検定では、カイ二乗分布に従うと仮定する統計量は、対角にある度数の、和と差で、平均値は出て来ません。 そこで、上の表では、マクマネー検定をノンパラメトリック検定にしています。

21世紀の検定の視点による、ノンパラメトリック検定の分類

21世紀の検定 では、統計量の数値的な違いを評価する事と、データの全体的な違いを評価する事を区別して、検定手法を使い分けます。

20世紀までに確立していた手法は、統計量の数値的な違いを評価する手法ばかりです。 例外は、相関係数の2乗の寄与率で評価する方法ですが、これは検定として作られたのではなく、 2乗すると確率の性質を持つので、「改めて考えると、データの全体的な違いを評価する手法だった。」というような経緯でできた、と筆者は解釈しています。

上の表で「数値のみ」と分類した方法は、すべて、統計量の数値的な違いを評価する手法です。 筆者の知る限りでは、20世紀までに確立していた検定で、データの全体的な違いを評価する手法はないようです。

一方、データの全体的な違いを評価する手法として、筆者が考案した手法の中には、ノンパラメトリック検定になっているものがあります。 データの全体的な違いを評価する手法を考えていた頃は、「データの全体的な違いを評価するには?」ということだけを考えていました。 後になって、自分が考案した方法を改めて見たら、パラメトリック検定とノンパラメトリック検定が混ざっていることに気付きました。

比率のシフトの検定

シフトの検定 は、平均値の検定と類似していますが、データの全体的な違いを評価する手法です。

2種類考案しましたが、 比率のシフトの検定 は、ノンパラメトリックです。 数え上げをして割合を計算したものを、確率とします。

比率分布の重なりの検定

比率の全体的な差の検定 は、比率の差の検定と類似していますが、データの全体的な違いを評価する手法です。

2種類考案しましたが、 比率分布の重なりの検定 は、ノンパラメトリックです。 帯グラフの面積から求めた割合を、確率とします。

パラメトリック検定の実用性

現実のデータに対して、「パラメトリックな分布に見えます。」と自信を持って言うのは、躊躇してしまうのが普通です。 サンプル数が多い場合は、いびつな形に見えるのが普通なので、躊躇してしまいます。 サンプル数が少ない場合は、そもそも分布の形がわからないので、やはり、躊躇してしまいます。

そう考えると、実務は、パラメトリック検定が使えるケースは稀で、ノンパラメトリック検定が主流になりそうに思えて来ます。 しかし、少なくとも、工場のデータ分析の世界では、パラメトリックが主流です。

理由はいくつかあると思いますが、パラメトリックが主流なのは、ノンパラメトリックを教えるところまで、統計教育が行き届いていないのが、一番ではないかと思います。(統計的な検定と、統計教育の歴史

筆者自身は、ノンパラメトリックを知っていますが、ノンパラメトリックは、ほとんど使わないです。

理由の1つ目は、ノンパラメトリックな方法の、感度の鈍さです。 パラメトリック検定だと、割と明確に結果が出て、実際に起こっている事としっかり一致している場合でも、ノンパラメトリック検定ではそうならないことが、よくありました。

理由の2つ目は、パラメトリックには、 正規分布の理論のロバスト性 がある事です。 筆者の経験の範囲では、実用上は、パラメトリック検定で用が足りる場合が多いです。 「正規分布で近似してしまう」という感覚で使います。 統計学的な厳密さはないですが、この近似によって、解決したい問題が、おかしな方向に行ってしまったことはないです。

パラメトリックには、このような優位性があるので、「統計教育が不十分」と言って、ノンパラメトリックの教育を充実させる必要はないと思います。

分野ごとのノンパラメトリック検定の違い

ノンパラメトリック検定を使う理由は、分野によって、少し違っているようです。

医療統計学・生物統計学

医療統計学や生物統計学では、データが少ないことと、正規分布をしているのかがよくわからないケースが多いため、ノンパラメトリック検定を採用する傾向があるようです。

心理統計学

心理統計学では、データが アンケート で取った順位尺度によるものが多いため、ノンパラメトリック検定を採用する傾向があるようです。

ソフト

Rによる違いの有無の分析 があります。 上の表の方法は、だいたい網羅しています。



「平均値の数値的な差」というのは、どういうことですか?

参考文献

統計学全般の本で、ノンパラメトリック検定を扱っている本

事例で学ぶ 実務者のための統計解析」 野口博司 著 森北出版 2023
・クラスカル・ウォリス検定 : 分散分析のノンパラメトリック版ではなく、分割表で項目に順位がある場合の検定として分類しています。
・ウィルコクソン検定 : 対応のない2群の順位の中心位置の差
・ムッド検定 : 対応のない2群のばらつきの差。ばらつきが小さい方が、順位が中心に集まる、と考える。
・ウィルコクソンの符号付き順位検定 : 対応のある2群の中心位置の差


入門統計学 検定から多変量解析・実験計画法まで」 栗原伸一 著 オーム社 2011
・ピアソンのカイ2乗検定、正確確率検定 : 対応のない2群以上の比率の差
マクマネー検定、コクランのQ検定 : 対応のある2群以上の比率の差。マクマネー検定を3変数以上に拡張したのがコクランのQ検定
・マン・ホイットニーのU検定 : 対応のない2群の中央値の差
・ウィルコクソンの符号付き順位検定 : 対応のある2群の中央値の差
・クラスカル・ウォリス検定 : 対応のない2群以上の中央値の差
・フリードマン検定 : 対応のある2群以上の中央値の差
・シーゲル・チューキー検定、サベジ検定、アンサリ・ブラッドレイ検定、クロッツ検定 : 対応のない2群のばらつきの差
・ピアソンのカイ二乗検定は、カイ二乗分布を使うが、検定統計量を求める時に、平均値や分散などの母数は使わないので、ノンパラメトリックに分類される。
・この本では、対応のない平均値の差の検定のように、等分散を仮定している検定(t検定)を使う時には、事前に、等分散の検定(F検定)をしなければいけない、としています。
・ピアソンのカイ2乗検定、正確確率検定は、他の資料では、独立性の検定として説明されることが多いと思うのですが、この本では、比率の差を調べる方法として説明されています。


数理統計学の考え方 推測理論の基礎」  竹内啓 著 岩波書店 2016
ノンパラメトリック検定の手法の紹介は、ウィルコクソン検定だけです。 ノンパラメトリックの検出力や 信頼区間 について、やや詳しい解説があります。


医療統計学

ノンパラメトリック検定の解説は、ノンパラメトリック検定の章を作って分類している本が多いです。 一方、下記の医療統計の2冊は、いずれもノンパラメトリック検定の章は作らず、パラメトリック検定の方法をひとつ紹介する毎に、それに対応するノンパラメトリック検定の方法を紹介する形になっています。 ノンパラメトリックかどうかというよりも、研究対象に合わせて、章が構成されています。


医療統計学 基礎統計から多変量解析まで」  松木秀明・須藤真由美・松木勇樹 著 東海大学出版部 2014
・対応のある2群の比較:ウィルコクソンの符号付き順位和検定、符号検定
・独立した2群の比較:マン-ホイットニーのU検定
・対応のある場合の独立性の検定:マクマネー検定
・多群の比較:クラスカルウォリス検定
・対応のある多群の比較:フリードマン検定、コクランのQ検定


みんなの医療統計 12日間で基礎理論とEZRを完全マスター!」  新谷 歩 著  講談社 2016
数式は使わない説明になっています。
マン-ホイットニーのU検定、ウィルコクソンの順位和検定、クラスカルワリス検定、フリードマン検定について、EZRの使い方


生物統計学

生物統計学入門」 山田作太郎・北田修一 著 成山堂書店 2004
・マン-ホイットニーのU検定、ウィルコクソンの順位和検定
・ウィルコクソンの符号付き順位和検定
コルモゴロフ-スミルノフ検定:分布が等しいのかを調べる方法。中心位置の違いと、ばらつきの違いの両方を見ている。順位を見ている。
・連による傾向性の検定:1と0の出方がランダムかどうかを見る。


ステップワイズ生物統計学」 及川卓郎・鈴木啓一 著 朝倉書店 2008
・適合度検定、ウィルコクソンの順位和検定、クラスカル・ウォリス検定


生物統計学」  米沢勝衛 他 著 朝倉書店 1988
符号検定、符号付順位検定、マン-ホイットニーのU検定、クラスカルワリス検定、フリードマン検定


心理統計学

心理統計学 データ解析の基礎を学ぶ」  繁桝算男・大森拓哉・橋本貴充 著 培風館 2008
・対応のあるデータ向け:ウィルコクソンの符号付き順位検定、符号検定
・対応のあるデータ向け:マン-ホイットニーのU検定、ウィルコクソンの順位和検定、メディアン検定
・2つの量的変数の関係のためのノンパラメトリック法:スピアマンの順位相関係数、ケンドールの順位相関係数
・メディアン検定は、中央値の違いだけを調べる。マン-ホイットニーのU検定や、ウィルコクソンの順位和検定のように、ばらつきが等しいという前提がない。


心理統計学ワークブック 理解の確認と深化のために」 南風原朝和・平井洋子・杉澤武俊 著 有斐閣 2009
問題集の形になっています。ノンパラメトリックは、2ページで簡単に説明しています。


分析化学・工場のデータ分析

データのとり方とまとめ方 分析化学のための統計学とケモメトリックス」 James N.Miller・Jane C.Miller 著 共立出版 2004
筆者は、この本が出版された直後の頃に、本屋で平積みで売られているのを見つけました。 「知りたかったことが書いてある!知りたかったことよりも、先のことも書いてある!」という本でした。 品質管理の本よりも具体的に、測定管理や測定値の分析方法が書かれているので、「分析化学のため」とありますが、工場の技術者にとっても、とても参考になるものでした。 筆者は、この本でノンパラメトリック検定を、初めて知りました。
この本は「Statistics and Chemometrics for Analytical Chemistry」の第2版の日本語訳です。原著の第2版は、1988年に出ています。 日本語版は、第2版しかないようです。
原著は、2018年に第7版が出ています。 筆者は、2010年に出た第6版を読んだことがあります。
第6版と第7版の目次の比較をしたのですが、項目は同じでした。 第7版の方が約10ページ多いので、少し加筆した程度の違いのようです。 第2版の日本語版と、第6版の比較もしたことがあるのですが、目次レベルで違ったのはベイズ統計が加わったことだけのようでした。
第6章にノンパラメトリック検定があります。
Sign test:符号検定
Wald-Wolfowitz runs test:符号の出方のランダム性の検定
Wilcoxon signed rank test:ウィルコクソンの符号付き順位検定
Mann-Whitney U-test:マン-ホイットニーのU検定。Tukey’s quick testも目的が類似
Siegel-Tukey test:シーゲル-チューキー検定。データのばらつきの比較
Kruskal-Wallis test :クラスカル・ワリス検定
Friedman’s test:フリードマン検定


IMPLEMENTING SIX SIGMA」 Forrest W. Breyfogle III 著 WILEY 2003
シックスシグマ の大事典のような本です。
ノンパラメトリック検定は、分散分析の代用として、Kruskal-Wallis testと、Mood's median testが紹介されています。 Kruskal-Wallis testと、Mood's median testは、いずれも中央値が同じかどうかの検定ですが、Mood's median testの方が、外れ値に対してロバストとのことです。 また、Friedman’s testも紹介されています。




順路 次は z検定

データサイエンス教室