有向条件付き相互情報量分析

有向情報量分析は、質的変数の関係について、有向グラフを作ることができます。しかし、疑似相関を見破る仕組みを持っていないので、作られた有向グラフは、疑似相関も含まれています。

有向条件付き相互情報量分析は、この弱点を解消するために考案したものです。

条件付き相互情報量

相関係数と偏相関係数は、量的変数向けの指標です。名前からもわかるように、これらは密接な関係を持っています。

相関係数は、量的変数向けの指標ですが、これに相当する質的変数向けの指標は、相互情報量です。偏相関係数に相当する質的変数向けの指標が、条件付き相互情報量になります。
Mutual Information

Mutual Information
上の例は、偏相関係数による分析の復習用に作ったものです。３つの変数があって、それらに関係がある場合、関係の種類によって、相関係数に特徴が表れる場合と、偏相関係数に特徴が表れる場合に分かれます。

上の図のデータは、量的変数です。上と同じデータを、質的変数に変換して、相互情報量と条件付き相互情報量を計算すると、下のようになります。関係の種類の違いが、相互情報量と条件付き相互情報量に、うまく分かれていないように見えます。
Mutual Information

有向条件付き相互情報量のアルゴリズムは、以下のようになっています。

アルゴリズムの２番目と３番目を飛ばせば、有向情報量分析と同じです。

アルゴリズムの３番目のところは、相関偏相関分析で、同じことをしています。

ハイブリッド有向相関分析では、上のアルゴリズムの３番目と４番目に対応する部分の間に、有向相関偏相関分析が入っています。有向相関偏相関分析では、向きが決まらない場合に、２変数間の向きを調べる流れになっています。

有向条件付き相互情報量分析でも、同様の進め方ができるはずなのですが、筆者は成功していません。しきい値の決め方が難しいことが原因のようで、計算が終わらなくなります。

上記のアルゴリズムでは、有向相関偏相関分析に相当する部分が入っていませんが、いくつか試した限りでは、それが原因で結果がおかしくなったことはないです。