岭回归可以用来解决超定方程吗？答案

【问题标题】：Can ridge regression be used to solve overdetermined equations?岭回归可以用来解决超定方程吗？
【发布时间】：2021-08-10 07:09:57
【问题描述】：

超定方程没有唯一解，但可以使用最小二乘法获得近似解。我了解到岭回归是一种优化的最小二乘法，可以更好地拟合病态数据。经过搜索，我没有找到任何使用岭回归求解超定方程的例子。所以我觉得要么讨论太简单，要么有一些限制，不可行。不知道是什么原因。

另外，在 Python 中，通过简单地调用 numpy.linalg.lstsq() 方法，可以使用最小二乘法求解超定方程。那么有没有类似的岭回归方法来求解超定方程呢？

谢谢！

【问题讨论】：

根据您要实现的目标，您还可以使用套索回归。岭回归会缩小你的参数值，但如果你的预算参数设置为 0，它们只会达到 0（也就是从模型中丢弃）。另一方面，套索会在没有预算设置为 0。
我还应该添加，当预算参数设置为 0 时，您的所有模型将始终预测为 0（模型将减少到 y=0）
您还应该知道还有其他几种方法可以解决此问题，例如，您可以手动选择哪些变量对您的模型影响最大，您也可以使用 forward 以编程方式执行此操作选择和逐步选择，你可以通过主成分回归来减少你的维度
感谢您的意见！我查看了ridge regressor in Sklearn module，并没有发现任何与求解方程组相关的内容。我看错地方了吗？
我认为这是你如何用词的问题。据我了解，您拥有的变量多于数据点，我列出的所有方法（PCR 除外）都用于进行变量选择，这将解决您的问题，但并非专门设计这样做

【解决方案1】：

Ridge Regression 基本上在数据上添加了先验。

模型由 $ \arg\min_{x} \frac{1}{2} {\left| 给出A x - y \right|}{2}^{2} + {\left| x \right|}{2}^{2} $:

你可以理解为（同一枚硬币的不同面）：

【讨论】：