为什么向线性回归添加特征会降低准确性？答案

【问题标题】：Why does adding features to linear regression decrease accuracy?为什么向线性回归添加特征会降低准确性？
【发布时间】：2012-01-18 03:22:46
【问题描述】：

我是 ML 新手，正在参加 kaggle 比赛来学习一点知识。当我将某些特征添加到我的数据集时，准确性会降低。

为什么增加成本的功能不只是加权为零（忽略）？是因为非线性特征会导致局部最小解决方案吗？

谢谢。

【问题讨论】：

【解决方案1】：

如果您谈论的是线性回归分类器的训练错误，那么添加特征总是会减少您的错误，除非您有错误。就像你说的，这是一个凸问题，全局解决方案永远不会更糟，因为你可以将权重设置为零。

但是，如果您谈论的是测试错误，那么过度拟合将成为添加功能的大问题，并且您肯定会观察到这一点。

【讨论】：

【解决方案2】：

我无法发表评论，因此发布为答案。

@agilefall：你不一定是错的。如果您根据预测输出和实际输出之间的相关性来衡量准确性，那么随着您添加更多功能，准确性可能会降低。线性回归对此不做任何保证。

【讨论】：