相互情報量行列

量的変数が複数ある時に、すべての変数の組合せについて、共分散を計算して、行列の形でまとめたものは、「共分散行列」や「分散・共分散行列」と呼ばれます。

それと似た発想で、すべての質的変数の組合せについて、相互情報量を計算したものを、このサイトでは、「相互情報量行列」と呼んでいます。

共分散行列との類似点

共分散行列と相互情報量行列は似ています。

同じ変数について、共分散の計算をしても、その変数のみで分散を計算しても同じです。そのため、共分散行列の対角成分は、の変数の分散になっています。

相互情報量行列の場合、対角成分は平均情報量と同じになっています。

これも、相互情報量と平均情報量の関係が、共分散と分散の関係と似ているため、このようになっています。

共分散を分散で標準化すると、相関行列になります。相関行列は、対角成分がすべて１で、それ以外の成分は、相関係数になっています。

相互情報量行列を、平均情報量で標準化すると、対角成分がすべて１になり、それ以外の成分は、情報量標準化型相互情報量係数になっています。

Rによる有向情報量分析では、前処理として、相互情報量行列を計算します。

Rによる相互情報量係数分析では、相互情報量行列と相互情報量係数行列を計算しています。下の例は、上が相互情報量で、下が情報量標準化型相互情報量係数です。
Mutual Information