分類木と回帰木

決定木は、目的変数Yの種類で大きく２種類に分かれます。質的データの場合は「分類木」、量的データの場合は「回帰木」と呼ばれます。

回帰木の使い道

回帰木には、名前からわかるように回帰分析と同じように、任意のXを入力した時に、Yの数値を予測する使い方ができます。

ただ、回帰木では、基本的にXは質的データとして扱われているので、数値の精度はあまり良くありません。数値の精度を良くしようとすると、今度は、過学習になって、わけのわからない複雑なモデルになりがちです。

回帰木の使い道は、予測よりも因果推論やデータマイニングの方が現実的と思います。回帰分析というよりも、無数の分散分析をするイメージです。 Yを適度にグルーピングして分析するツールとして役立ちます。

回帰木には、２進木はありますが、 N進木はないようです。

N進木の良さを使いたい場合は、Yを１次元クラスタリングで質的データに変換し、分類木として分析する方法があります。

モデル木は回帰木の一種ですが、Xを量的データとしても扱うので、過学習にならずに、数値の精度を上げられる方法になっています。

Rの実施例が、 Rによる決定木のページにあります。

順路次は N進木