順路
次は
平均情報量
情報統計力学は、もともとは 情報理論 と統計力学という、一見すると、まったく異なる分野が、同じ数式を使っている事に気付いたところから始まったようです。
そして、歴史的に長い統計力学の研究成果を、情報理論の研究に持ち込んで、情報理論を発展させたようです。
現在は、情報理論の扱う「情報」や、統計力学の扱う「粒子」という「物」以外も扱え、かなり汎用的な理論になっていますが、 他に適当な呼び方がないようなので、このサイトでは、「情報統計力学」と呼んでいます。
熱力学 では、エネルギー、温度、圧力などの量の関係が議論されます。
統計力学では、熱力学的な量は、分子の集団の動きによって起きる現象の平均値と考えます。
分子は、膨大な数があるので、ひとつひとつの分子の動きを直接扱えません。 そこで、場合の数の考え方に持ち込んで、統計的に扱います。
統計的に扱うことで、分子の性質というミクロな話と、物の性質というマクロな話をつなげます。
ひとつひとつの分子には、個性がまったくないので、この点は、統計的に扱うのに理想的です。
全体の数を一定と考えるのか、温度を一定と考えるのか、と言った観点で、「○○アンサンブル」と言ったものが、考えられています。 また統計的な性質を数式にする時に、粒子の相互作用や量子的な性質を組み込むこともあります。
統計力学では、膨大な分子の動きを統計的に考えます。
統計力学では、分子を想定するので、一般的には、ひとつの分子は３次元空間で、速度と座標の情報を持つので６次元になっています。
統計力学は
ある瞬間のサンプルを、
６×分子の数
の次元数で考える理論です。
ここで、「６」を扱うのは、粒子を扱う理論に特化した話と考えます。 このように考えると、「６」を扱うための道具以外の統計力学の理論は、統計学全般に使えるような気がして来ます。
統計力学は、もともと膨大な数の粒子を扱うための理論として研究されて来ているので、膨大な数の変数を扱う理論になります。 こういった理論は、情報統計力学と呼ばれています。
イジングモデルやスピングラスモデルは、粒子が２次元に格子上に並んでいるモデルですが、これは画像データに使える可能性が出て来ます。 ディープラーニング（深層学習） で使われる ボルツマンマシン や、 ベイズ統計 で使われる MCMC法 など、すでに色々と、取り入れられています。
ひとつひとつの変数で起きている事をミクロと考え、それらの変数全体の動きの結果としてわかる事をマクロと考えられるようなタスクを扱うのに向いています。 このようなタスクの例としては、 パターン認識 があります。
情報理論と統計力学で、エントロピーの式が同じなことは、よく言われる話です。
このアナロジーの解説として、粒子の動きで情報を表現する技術が引き合いに出されたり、 粒子が意思を持って動いているように考ええられたりする事があるようです。
筆者としては、 対象が情報なのか、粒子なのかの違いで、いずれも統計的なアプローチで、その対象が起こしている事を式にしたので、結果的に同じ式になったと理解しています。
「ベイズ統計と統計物理」 伊庭幸人 著 岩波書店 2003
データyの元でのxの条件付き分布の式と、カノニカル分布の式は、
確率が左辺にある点と、右辺の式の形が似ている点があり、
これが、ベイズ統計と統計物理が研究成果を共有できる接点の、ほぼすべて、とのことです。
この接点を手掛かりにして、統計物理の成果を統計学に持ち込むことが進んだのですが、
両者で既に同じような理論があることが、後からわかったりもしたそうです。
統計物理の成果を統計学に持ち込んで大成功したのが、
MCMC法と、平均場近似。
「情報の統計力学」 篠本滋 著 丸善 1992
イジングモデルから始まって、組み合わせ最適化問題や、画像再構成問題に統計力学を使う話があります。
エネルギーの最適化（エネルギー的に低くて安定した部分を見つける）という、統計力学のアプローチが、
最適解を見つける方法として、使われています。
「学習と情報の平均場理論 ：線形パーセプトロンのアンサンブル学習を一例として」 樺島祥介 著 岩波書店 2002
磁性体、学習、情報、という順で、それぞれの平均場理論の話があります。
「学習の問題を統計力学で取り扱う ：線形パーセプトロンのアンサンブル学習を一例として」 岡田真人、原一之 著 サイエンス社 Computer today 2003
情報理論
を
機械学習
に使う特集記事のひとつです。
タイトルの通りの内容なのですが、難解でした。
「確率的グラフィカルモデル」 鈴木譲・植野真臣 編著 共立出版 2016
因果推論
や、
ベイジアンネットワーク
など、様々なグラフィカルモデリングの話題を、幅広く扱っています。
数式が多いので、読み物としては読めません。
イジングモデルを画像復元に利用する話もあります。
「情報の物理学」 豊田正 著 講談社 1997
スピン系のモデルについての章があります。
なお、この本では別の章で情報量の話もあるのですが、情報量と統計力学の両方の話が入っている話題はないです。
「熱・統計力学入門」 阿部龍蔵 著 サイエンス社 2003
熱力学と統計力学が半々。
統計力学は、古典統計力学の範囲。
考え方が、とても丁寧に解説されています。
「熱・統計力学」 岡部豊 著 2008
熱力学は2割くらいで、残りが統計力学。
量子統計、相互作用のある系や、非平衡系もあります。
数式の事典のような感じの本です。
「ゼロから学ぶ統計力学」 加藤岳生 著 講談社 2013
位相空間や解析力学の知識を使わずに、分子の分布の仕方から、統計力学の式を導くように、解説しています。
順路
次は
平均情報量
