情報量の変化があるデータの構造

有向情報量分析では、情報量の変化があるデータの構造を、有向グラフになるデータの構造として扱っています。

矢印の向きの意味

有向情報量分析では、平均情報量が高い方から低い方に向かって、矢印を書くようにしています。平均情報量の高さの違いと、実際のデータの関係については、平均情報量のページに例があります。

これは「何かの作用があると、平均情報量が低くなる」という経験則から決めています。例えば、一様分布データにばらつきが加わると、データに偏りが出て、これが平均情報量の低下として表れます。

この意味では、因果関係の向きと、平均情報量から判断した向きがあっています。

平均情報量は、「情報エントロピー」と呼ばれ、熱力学のエントロピーとアナロジーの関係があります。

熱力学に「エントロピー増大則」という法則があり、熱の出入りがない空間では、エントロピー増大、つまり、特徴的な分布があった時に、その特徴が消えて行く法則が知られています。

一方、特徴（偏り）がない分布に偏りが表れる方向があれば、原因から結果の方向と考えています。

特に原因がなく、自然な変化をする場合にも平均情報量の変化が起きているので、平均情報量の分析では、この考察が不可欠と言えそうです。

ベイジアンネットワークによるデータの構造解析の中で、スコアによる条件付き確率の探索では、BICやMDLといった対数尤度を含んでいるスコアを使って、モデルの良さを評価します。

このスコアを使うと、矢印の向きをどちらにした方が良いのかもわかるのですが、対数尤度と情報量の関係のページにあるように、対数尤度と情報量には密接な関係があるので、これらのスコアが評価するのは情報量で評価する場合と。とても似ています。

スコアは、複数の変数のモデルに対して計算することもあるので、そういった違いはあります。