更好地使用正则化答案

【问题标题】：Better use of Regularization更好地使用正则化
【发布时间】：2017-04-23 07:22:22
【问题描述】：

我最近在学习Coursera ML课程的机器学习，学习过程中突然出现一些问题cost function with regularization。如果您有任何想法，请给我您的建议。

如果我有足够数量的训练数据，我认为正则化会降低准确率，因为模型只能从训练集获得高可靠性和泛化输出，无需正则化。我如何才能做出是否应该使用正则化的正确决定？
假设我们有一个模型如下：w3*x3 + w2*x2 + w1*x1 +w0，x3是特别容易引起过拟合的特征；这意味着它有更多的异常值。在这种情况下，我认为the way of regularization 有点不合理，因为它对每个重量都起作用。你知道在这种情况下我可以使用什么更好的方法吗？
选择 lambda 值的最佳方法是什么？我想最简单的方法是使用不同的 lambda 值进行多次学习并比较它们的训练准确性。但是，当我们拥有大量训练数据时，这绝对是低效的。我想知道你如何选择理想的 lambda 值。

感谢阅读！

【问题讨论】：

【解决方案1】：

在根据验证数据评估模型之前进行猜测是个坏主意。当您在问题中谈论“准确性”时，您指的是哪种准确性？训练集准确度在估计模型的优劣方面不是很有用。通常，正则化是许多 ML 算法家族所需要的。在线性回归的情况下，绝对值得去做。这里的问题只是它的数量，即 lambda 参数的值。此外，您可能想尝试 L1 而不是 L2。阅读this。
在机器学习中，此类问题通常使用数据来回答。尝试一个模型，调查它的行为方式，针对您观察到的问题尝试不同的解决方案。
阅读：How to calculate the regularization parameter in linear regression

【讨论】：