Lasso 回归或 Elastic-net 回归总是优于岭回归吗？
我已经对几个数据集进行了这些回归，并且我总是得到相同的结果，即均方误差在 lasso 回归中最小。这仅仅是巧合还是无论如何都是真的？
【问题讨论】：
machine-learning @ 中的介绍和注意事项987654322@.
标签： machine-learning statistics regression lasso-regression
关于这个主题，James、Witten、Hastie 和 Tibshirani 在他们的《统计学习导论》一书中写道：
这两个例子说明岭回归和 套索将普遍支配另一个。一般来说，人们可能会期望 套索在相对较小的环境中表现更好 预测变量的数量具有相当大的系数，其余的 预测变量的系数非常小或为零。 当响应是一个函数时，岭回归会表现得更好 许多预测变量，所有变量的系数都大致相等。然而， 与响应相关的预测变量的数量永远不会 已知数据集的先验知识。交叉验证等技术 可以用来确定哪种方法更好 特定的数据集。 （第 6.2 章）
【讨论】：
每个问题都不同。在套索回归中，算法试图删除没有任何用处的额外特征，这听起来更好，因为我们也可以用更少的数据很好地训练，但处理有点困难，但在岭回归中，算法正在尝试使这些额外的功能不太有效，但不会完全删除它们，这样更容易处理。
【讨论】：