最小二乘估计中的全秩假设（线性回归）答案

【问题标题】：Full-Rank Assumption in Least Squares Estimation (Linear Regression)最小二乘估计中的全秩假设（线性回归）
【发布时间】：2018-07-18 02:04:55
【问题描述】：

在普通最小二乘估计中，假设样本矩阵 X（形状为 N_samples x N_features）具有“全列秩”。

这显然是必要的，以便可以使用 Moore-Penrose 逆将线性回归简化为简单的代数方程。请参阅有关 OLS 的 Wikipedia 文章的这一部分： https://en.wikipedia.org/wiki/Ordinary_least_squares#Estimation

理论上，这意味着如果 X 的所有列（即特征）都是线性独立的，我们可以做出使 OLS 易于计算的假设，对吗？

这在实践中意味着什么？这是否意味着 OLS 不可计算并且会导致此类输入数据 X 出错？还是结果会很糟糕？是否存在由于该假设不成立而导致线性回归失败的经典数据集？

【问题讨论】：

【解决方案1】：

仅当您要使用逆（或 cholesky 分解，或 QR 或任何其他（在数学上）等效于计算逆的方法）时才需要满秩假设。如果您使用 Moore-Penrose 逆，您仍然会计算出答案。当满秩假设被违反时，不再有唯一答案，即有许多 x 最小化

||A*x-b||

您将使用 Moore-Penrose 计算的将是最小范数的 x。 See here, for exampleA

【讨论】：