如何制作这样的回归树？答案

【问题标题】：How do I make a regression tree like this?如何制作这样的回归树？
【发布时间】：2013-07-01 21:17:22
【问题描述】：

我想制作一棵像图片中的回归树。这棵树是在 Cubist 中完成的，但我没有那个程序。我确实使用 R 和 Python。它似乎与 R 包 rpart 或树不同，因为末端节点是线性公式，而不仅仅是平均值。有什么方法可以使用 R 或其他一些免费软件来做到这一点？

图中，NDVI、B1、B2等都是变量。图片来自this website。

【问题讨论】：

我建议使用线性树 (github.com/cerlymarco/linear-tree)：一个 python 库，用于在叶子处构建带有线性模型的模型树。它是作为 scikit-learn 包装器开发的

标签： r tree regression rpart

【解决方案1】：

Cubist 是 RuleQuest 在http://rulequest.com/cubist-info.html 发布的 Cubist GPL C 代码的 R 端口。

使用来自help('cubist') 和原始package announcement 的示例

library(Cubist)
library(mlbench)
data(BostonHousing)

## 1 committee, so just an M5 fit:
mod1 <- cubist(x = BostonHousing[, -14], y = BostonHousing$medv)
summary(mod1)

# Call:
#   cubist.default(x = BostonHousing[, -14], y = BostonHousing$medv)
# 
# 
# Cubist [Release 2.07 GPL Edition]  Thu Jul 04 11:56:33 2013
# ---------------------------------
#   
#   Target attribute `outcome'
# 
# Read 506 cases (14 attributes) from undefined.data
# 
# Model:
# 
# Rule 1: [101 cases, mean 13.84, range 5 to 27.5, est err 1.98]
# 
# if
# nox > 0.668
# then
# outcome = -1.11 + 2.93 dis + 21.4 nox - 0.33 lstat + 0.008 b
# - 0.13 ptratio - 0.02 crim - 0.003 age + 0.1 rm
# 
# Rule 2: [203 cases, mean 19.42, range 7 to 31, est err 2.10]
# 
# if
# nox <= 0.668
# lstat > 9.59
# then
# outcome = 23.57 + 3.1 rm - 0.81 dis - 0.71 ptratio - 0.048 age
# - 0.15 lstat + 0.01 b - 0.0041 tax - 5.2 nox + 0.05 crim
# + 0.02 rad
# 
# Rule 3: [43 cases, mean 24.00, range 11.9 to 50, est err 2.56]
# 
# if
# rm <= 6.226
# lstat <= 9.59
# then
# outcome = 1.18 + 3.83 crim + 4.3 rm - 0.06 age - 0.11 lstat - 0.003 tax
# - 0.09 dis - 0.08 ptratio
# 
# Rule 4: [163 cases, mean 31.46, range 16.5 to 50, est err 2.78]
# 
# if
# rm > 6.226
# lstat <= 9.59
# then
# outcome = -4.71 + 2.22 crim + 9.2 rm - 0.83 lstat - 0.0182 tax
# - 0.72 ptratio - 0.71 dis - 0.04 age + 0.03 rad - 1.7 nox
# + 0.008 zn
# 
# 
# Evaluation on training data (506 cases):
# 
# Average  |error|               2.10
# Relative |error|               0.32
# Correlation coefficient        0.94
# 
# 
# Attribute usage:
# Conds  Model
# 
# 80%   100%    lstat
# 60%    92%    nox
# 40%   100%    rm
# 100%    crim
# 100%    age
# 100%    dis
# 100%    ptratio
# 80%    tax
# 72%    rad
# 60%    b
# 32%    zn
# 
# 
# Time: 0.0 secs

【讨论】：

哇，这是个好消息！ “结果”示例看起来与我想要的完全一样。我迫不及待地想深入了解这一点。谢谢！
那么Cubist方法和M5算法有什么区别呢？我以为上面问题中粘贴的实际图只是M5算法（回归模型树）
如何根据 Cubist 输出的规则生成可视化树？是否有可以做到这一点的程序，或者我必须使用诸如绘画或某些在线图形编辑器之类的程序手动完成？谢谢

【解决方案2】：

Cubist 的 R 实现概述可以在 here 找到。

从该概述中，“算法的第一部分与'M5'或模型树方法一致。”

具体来说，区别在于：

“Cubist 将此模型推广到添加提升（当委员会 > 1 时）和基于实例的更正”

【讨论】：