多项式特征的引入不会导致共线性增加吗？

Question

我正在从 ISLR 进行线性回归和逻辑回归，在这两种情况下，我发现增加模型灵活性所采用的方法之一是使用多项式特征 - X 和 X^2 都作为特征，然后应用回归模型像往常一样将 X 和 X^2 视为独立特征（在 sklearn 中，而不是 statsmodel 的多项式拟合）。但这不会增加特征之间的共线性吗？它如何影响模型性能？

总结一下我对此的看法-

首先，X和X^2毫无疑问具有实质性相关性。

第二，我写了一个blog 证明，至少在线性回归中，特征之间的共线性不会影响模型拟合分数，尽管它会通过增加系数不确定性使模型难以解释。

鉴于模型性能是通过拟合分数来衡量的，因此第二点与此有什么关系。

Answer 1

多重共线性并不总是一个障碍。这取决于数据。如果您的模型没有给您最好的结果（高精度或低损失），那么您可以删除异常值或高度相关的特征来改进它，但是一切都是笨拙的，您不必担心它们。

多项式回归也是如此。 是的，它通过在您的模型中引入 x^2、x^3 特征来在您的模型中添加多重共线性。

要克服这个问题，您可以使用orthogonal polynomial regression，它引入了相互正交的多项式。

但它仍然会引入更高次多项式，这些多项式可能会在您的数据空间边界处变得不稳定。

要解决此问题，您可以使用Regression Splines，它将数据的分布划分为单独的部分，并在每个部分上拟合线性或低次多项式函数。发生划分的点称为Knots。我们可以用来为每个片段/bin建模的函数被称为Piecewise functions。 这个函数有一个约束，假设如果它引入了 3 次多项式或三次特征，那么这个函数应该是二阶可微的。 这样一个 m 次具有 m-1 个连续导数的分段多项式称为Spline。