トップページ | ひとつ上のページ | 目次ページ | このサイトについて | ENGLISH

対数尤度と情報量の関係

Information
対数尤度と情報量には、上の式の関係があるようです。 (一般的に成り立つかを筆者は確認できていないのですが、簡単な例による証明が下記にあります。)

Iが 相互情報量 、Hが 平均情報量 、log pと書いているのが対数尤度、Nがサンプル数です。

相互情報量と平均情報量を使う 有向情報量分析 と、対数尤度を使う 対数尤度情報量分析 が、とても似ているのは、この関係式に表れています。

証明

冒頭の式を、簡単な例の場合で証明していきます。 簡単な例というのは、下記のデータのことを言っています。

質的変数が2つあり、変数Xには、A、Bというカテゴリ、変数Yには、S、Tというカテゴリがあります。
Information Information

右の表は、 分割表 です。

対数尤度

対数尤度の計算式です。

Information

Information

情報量

Iが 相互情報量 、Hが 平均情報量 です。

Information

Information

Information

計算式の整理

上記の計算式の結果だけをまとめると、下になります。

Information

対数尤度と情報量の関係式の導出

いよいよ冒頭の式の導出です。

Information



順路 次は 累積寄与率連関係数

データサイエンス教室