部分的最小二乗回帰分析は、「Partial Least Squares Regression」の訳です。
「PLS」や「PLSR」と呼ばれることの方が多いです。
主成分回帰分析では、説明変数だけで主成分分析してから、 作った主成分を新しい説明変数と、目的変数についての 重回帰分析をします。
PLSは、主成分回帰分析と似ていますが、「説明変数だけで」という部分が大きな違いになっています。
PLSでは、目的変数と主成分との相関が一番高くなるように、主成分を作ります。
PLSは、主成分回帰分析と同じ特徴を持っていて、 多重共線性 で悩まずに、目的変数に対して、説明変数がどれだけ寄与するのかを調べられる方法になっています。
PLSは、目的変数と主成分との相関が一番高くなるように、主成分を作る方法になっているので、 「どんなに工夫しても、重回帰分析のモデルでは、これ以上は説明ができない」ということを調べる方法として、一番適していると、筆者は考えています。
PLSは、「多重共線性への対策をした、重回帰分析」という点では、主成分回帰分析よりも、直接的に解決しています。
一方、「説明変数の特徴を調べる」という点では、主成分回帰分析よりも使いにくいです。 主成分が目的変数の影響で決まっているため、説明変数がもともと持っている特徴が見えにくくなります。
例えば、同じデータに対して、以下のような結果の違いがあります。
Yのモデルとしては、PLSはシンプルで良いのですが、さらに考察したい時は、主成分回帰分析の方が進めやすいです。
これらの違いは、 独立成分回帰分析と因子回帰分析 のページにあります。
PLSは、ひとつの変数と、複数の変数のグループの関係を見ます。 ひとつの変数と、複数の変数のグループの主成分の相関が一番高くなるように、主成分が計算されます。
ここで、ひとつの変数としていた部分も、複数の変数のグループと考えて、グループ同士の主成分の相関を最大にしようとする方法があり、 正準相関分析 と呼ばれています。
Rの実施例が、 Rによる部分的最小二乗回帰分析 のページにあります。 こちらのページでは、RのPLS専用のパッケージを中心に使っています。
Rによる主成分回帰分析 のページでは、同じコードで、主成分分析、独立成分、因子分析、部分的最小二乗回帰分析を使い分けられるようにしています。 こちらのページでは、RのPLS専用のパッケージは、成分を求めるところだけに使っています。 寄与率の計算なども、RのPLS専用のパッケージで求めてくれますが、 他の手法と共通のコードにするため、寄与率の計算などは、別の方法で求めています。
「ケモメトリックス 化学パターン認識と多変量解析」 宮下芳勝・佐々木慎一 著 共立出版 1995
化学の研究方法として、PLSを紹介しています。
「スモールデータ解析と機械学習」 藤原幸一 著 オーム社 2022
機械学習をタイトルにしている本で、PLSを紹介している本は、筆者に他に知らないです。。
順路
次は
主成分分析のみによる主成分回帰分析
