PCA 中的计算误差

Question

我有一个关于我在做 PCA 时没有预料到的结果的问题。

我已经使用参考数据成功计算了主成分，然后作为检查以确保正在发生的事情是我认为正在发生的事情，我将参考数据投影到其特征函数的整个基础上（保留所有组件）然后转换回来，（这是在 python 中，所以它是 pca.fit(ref_data) 后跟 ref_data_transform =pca.transform.(ref_data) 后跟 pca.inverse_transform(ref_data_transform) 我得到完全相同的数据。这不是一个惊喜。

同样不足为奇的是，随着我选择的主成分越来越少，原始数据与已投影到较小基础上然后再投影回来的数据之间的点对点差异会增加。也就是说，如果您绘制原始数据和“过滤”数据，它看起来会有所不同，随着您减少要投影的子空间的大小，差异会增加。我可以在一个向量中捕获每个数据点之间的差异，例如，difference_vec。

令我感到惊讶的是（至少对我而言）是，当我对任何一列 difference_vec 求和时，它总是等于零。也就是说，当我投影到越来越小的子空间时，任何原始数据点与被一些主成分过滤的相应数据点之间的实际差异会变大，但总误差始终为零。

如果我在这里犯了一些错误，我非常感谢我的任何见解，如果没有，为什么这个以前的“投影引发的错误”指标不起作用。

谢谢。

Answer 1

发生这种情况是因为 ref_data 和我将称之为 inv_data = pca.inverse_transform(pca.transform(ref_data)) 的均值相同（沿第二维计算，即对样本进行平均）。

要查看此内容，请查看transform 的代码：

transform = lambda X: dot(X - mu, V.T)

而inverse_transform 可以定义为：

inverse_transform = lambda X: dot(X, V) + mu

其中mu 是ref_data 的平均值，V 是covariance(ref_data) 的第一个N 特征向量。

因此，如果您遵循数据链及其均值：

1. ref_data 与平均 mu;
2. transform(ref_data) 的平均值为 0（参见上面的等效定义：X-mu 的平均值为零，然后将结果线性投影到某个坐标参考上只会旋转/剪切/翻转那些零均值点，不会改变它们的平均值；李>
3. 最后，inv_data = inverse_transform(transform(ref_data)) 添加了mu，所以它有mu-mean；

你看到ref_data和inv_data都意味着mu。

最后，sum(ref_data - inv_data) 可以看作sum(mean(ref_data - inv_data) * num_samples)，通过线性简化为sum(mu - mu)，即为 0。

这是很多话，对不起，但现在我看到了这个想法，真的很简单。正如我在评论中提到的，在这种情况下，您想使用矩阵范数（如 Frobenius 范数）来测量两个矩阵之间的距离，而不仅仅是sum(A - B)?！

---

示例代码：

import numpy as np
from sklearn.decomposition import PCA

ref_data = np.random.randn(20, 3)
pca = PCA(n_components=1)
pca.fit(ref_data)
trans_data = pca.transform(ref_data)
inv_data = pca.inverse_transform(trans_data)

np.mean(inv_data, 0)   # array([ 0.03664149,  0.51348007,  0.0360179 ])
np.mean(ref_data, 0)   # array([ 0.03664149,  0.51348007,  0.0360179 ])
np.mean(trans_data, 0) # array([ -2.49800181e-17]) meanwhile ...
np.sum(inv_data - ref_data) # -1.3877787807814457e-15 !