sklearn.pca() 和 n_components，线性代数困境答案

【问题标题】：sklearn.pca() and n_components, linear algebra dilemmasklearn.pca() 和 n_components，线性代数困境
【发布时间】：2018-12-19 19:48:46
【问题描述】：

假设我想在使用 sklearn 在 Python3 中进行 PCA 时找到最佳组件数。

我会通过迭代一些 n_components 并在验证模型时计算每个值的总绝对预测误差来做到这一点。

我的问题是，将n_components 参数传递给PCA 并从那里传递，而不是不传递它而只使用它获得的隐式最大值中的第一个 (i) 组件有什么区别。

我的线性代数有点不稳定，但如果我没记错的话，这两种情况下的单个向量应该是相同的，并且按升序排列，并提供相同数量的解释方差。

很抱歉，我没有提供任何代码，也没有编写两种方案来亲自测试它们，但我在长途火车上，我的笔记本电脑电池在过程中耗尽了。现在我被好奇心困住了。

【问题讨论】：

标签： python scikit-learn data-science pca data-analysis

【解决方案1】：

您对 PCA 的记忆是正确的。包含的每个组件的奇异值将相同。

考虑以下思想实验。你有少量的特征。拟合一个完整的 PCA 并迭代以找到为您的估计器/分类器创建最佳转换的 n_components 的值是微不足道的。现在，您的数据中有 1,000 个特征。 10,000？ 100,000？ 1,000,000？看看我要去哪里？此类数据的完整 PCA 既无聊又计算成本高。那是在迭代以找到最佳转换之前。

一种常见的做法是设置 PCA 来解释 90% 的方差 (n_components-.9)，这有助于避免这种情况，同时仍然提供有价值的输出。

另一种选择是使用GridSearchCV 并输入您要测试的n_components 的值列表。请注意，此方法还需要您使用 Pipeline 构造一个对象，该对象将适合您的 PCA 和您的估计器/分类器对网格中给定点的训练数据。

顺便说一句，在降维方面，PCA 并不总是最佳选择，因为在某些情况下，低方差主成分具有高预测价值。有一些现有的 CrossValidated 问题很好地涵盖了这一点。 Examples of PCA where PCs with low variance are “useful” 和 Low variance components in PCA, are they really just noise? Is there any way to test for it?

【讨论】：