量的変数が複数ある時に、すべての変数の組合せについて、共分散を計算して、行列の形でまとめたものは、 「共分散行列」や「分散・共分散行列」と呼ばれます。
それと似た発想で、すべての質的変数の組合せについて、 相互情報量 を計算したものを、このサイトでは、「相互情報量行列」と呼んでいます。
共分散行列と相互情報量行列は似ています。
同じ変数について、共分散の計算をしても、その変数のみで分散を計算しても同じです。 そのため、共分散行列の対角成分は、の変数の分散になっています。
相互情報量行列の場合、対角成分は 平均情報量 と同じになっています。
これも、相互情報量と平均情報量の関係が、共分散と分散の関係と似ているため、このようになっています。
共分散を分散で標準化すると、相関行列になります。 相関行列は、対角成分がすべて１で、それ以外の成分は、相関係数になっています。
相互情報量行列を、平均情報量で標準化すると、対角成分がすべて１になり、それ以外の成分は、 情報量標準化型相互情報量係数 になっています。
Rによる有向情報量分析 では、前処理として、相互情報量行列を計算します。
Rによる相互情報量係数分析
では、相互情報量行列と相互情報量係数行列を計算しています。
下の例は、上が相互情報量で、下が情報量標準化型相互情報量係数です。
順路
次は
累積寄与率連関係数
Tweet
