独立成分分析 、 因子分析 、 主成分分析 は、独立成分、因子、主成分という呼び方の違いがありますが、元の変数とは違う方法を求めて分析に使うところは共通しています。
ただし、これら３つの方法は、「主成分分析だけ」と、「独立成分分析・因子分析」のグループの２つに大きく分かれます。
このサイトでは、主成分分析のようなアプローチを「要約分析」、独立成分分析・因子分析のようなアプローチを「分解分析」という名前で区別することにしています。
要約分析では、似たような変数の組み合わせがいくつもあるけれども、傾向として２種類に分かれているような時に、「要するに２種類で考えれば良い」というように考えて分析を進めます。
この要約の作業に、 主成分分析 が役に立ちます。
主成分分析では、相関の高い変数の組合せがどれなのか、また、そうした組合せの多さの順はどうなのかが調べられます。
「要約分析は、結果として見えているものをまとめる」という分析になります。
一方、「分解分析は、結果として見えているものの、原因を探る」という分析になります。
変数がたくさんあるけれども、それらを生み出すものが共通しているような時に、分解分析が役に立ちます。
要約分析は、まず、文字通り要約して、どのようなデータなのかを把握したい時に向いています。 この応用として、予測モデルを作る時の説明変数の前処理の方法になります。 例えば、 主成分回帰分析 があります。
分解分析は、潜在変数の因果推論として役に立ちます。
要約分析と分解分析は、やってみると、似たような結果になることが、けっこうあります。
ひとつの因子に対して、複数の変数が対応していて、それらの変数には、他の因子は対応しないような場合は、似て来ます。
一方、例えば、
X3 = 2 * V1 + V2
のような構造になっていて、V1とV2が因子で、X3をデータとして持っている場合、要約分析は、V1とV2に相当する因子を抽出することができないです。
分解分析の違い
のページで、主成分分析だと結果が良くないのは、そのためです。
要約分析は、見えているものをまとめる作業なので、分解分析よりも進めやすいです。
分解分析では、原因が、１つなのか、２つなのか、といったことが、最初はわからないです。 しかし、因子分析や独立成分分析をする時には、仮説としていくつなのかを決めないと、アルゴリズムが使えないようになっています。
Rによるデータ分析 にある分析例では、まず、主成分分析をして、いくつの主成分で要約できそうなのかを見てから、因子分析や独立成分分析の仮説を決めるようにしています。
順路
次は
因子分析
