xgboost 的 alpha、lambda 和 gamma 正则化参数有什么区别？

Question

我有一个问题要问：

xgboost 算法中权重的 L1 和 L2 正则化项究竟有何不同。

据我了解，LASSO 使用 L1，RIDGE 回归使用 L2，L1 可以缩小到 0，L2 不能。我了解使用简单线性回归时的机制，但我不知道它在基于树的模型中是如何工作的。

此外，gamma 是另一个参数，它使模型更加保守。我应该如何注意到 L1/L2 和 gamma 参数之间的区别。

我在文档中几乎没有发现这个问题：

lambda [默认=1，别名：reg_lambda]

• 关于权重的 L2 正则化项。增加这个值将使 模型更保守。

alpha [默认=0，别名：reg_alpha]

• 关于权重的 L1 正则化项。增加这个值将使 模型更保守。

gamma [默认=0，别名：min_split_loss]

• 在叶子上进行进一步分区所需的最小损失减少 树的节点。 gamma越大，越保守 算法会。

都是从0到inf。

提前感谢您的任何回答/评论！

Answer 1

我找到了 this 关于 gamma 正则化的博文。这是我两个月以来最喜欢的。仍在寻找答案，但信息量巨大。