【发布时间】：2019-07-22 01:55:08
【问题描述】：
我使用 xgboost 来训练分类模型。 GridCVSearch 给出了最好的 max_depth=1。这意味着我所有的数百棵树都在一个节点上分裂。
这是否意味着我使用的问题/数据集可以使用简单的模型进行分离，而我不需要使用复杂的模型，例如 xgboost？
一般来说，如果所有树的深度都为 1，xgboost 是否提供比 SVM/逻辑回归等简单模型更好的预测？
谢谢！
【问题讨论】：
标签： xgboost
【发布时间】：2019-07-22 01:55:08
【问题描述】：
如果 Depth 为 1，则意味着您到达时使用的是常规决策树并且失去了 XGBOOST 的优势。
【讨论】：
-
我不同意。 Xgboost有一种独特的分裂方式，即不是通过SSR作为常规树，而是通过增益（梯度）和覆盖（hessian）的组合。请参阅 this video 和 the official documentation。您仍然会保留例如的优势。自定义损失，速度。此外，树桩（深度为 1）仍然是非线性模型，并且您正在构建其中的许多模型，因此结果应该比单个树更好。例如，AdaBoost 主要使用树桩来获得比线性模型更好的结果。