対数尤度と情報量には、上の式の関係があるようです。
(一般的に成り立つかを筆者は確認できていないのですが、簡単な例による証明が下記にあります。)
Iが 相互情報量 、Hが 平均情報量 、log pと書いているのが対数尤度、Nがサンプル数です。
相互情報量と平均情報量を使う 有向情報量分析 と、対数尤度を使う 対数尤度情報量分析 が、とても似ているのは、この関係式に表れています。
冒頭の式を、簡単な例の場合で証明していきます。 簡単な例というのは、下記のデータのことを言っています。
質的変数が2つあり、変数Xには、A、Bというカテゴリ、変数Yには、S、Tというカテゴリがあります。
右の表は、 分割表 です。
対数尤度の計算式です。
上記の計算式の結果だけをまとめると、下になります。
いよいよ冒頭の式の導出です。
順路 次は 累積寄与率連関係数