使用 KPCA (Kernel PCA) 评估未见样本的特征脸答案

【问题标题】：Evaluating unseen samples using KPCA (Kernel PCA) for Eigenfaces使用 KPCA (Kernel PCA) 评估未见样本的特征脸
【发布时间】：2016-03-22 06:06:28
【问题描述】：

我有一个关于我想要获得资格的看不见的样本的问题（面对或不接受）。使用普通的 Eigenface 方法（即不再现内核替换 PCA 的内积），通过将样本投影到训练集矩阵上的 PCA 的特征向量上并最终测试投影到特征向量的最小距离来完成评估一个阈值。

我潦草地浏览了几篇讨论 KPCA 方法的出版物，但在测试未见样本的最后一步时，我遇到了一个小问题，没有答案：

使用普通的 PCA，在投影到特征向量之前从测试向量中减去训练集的平均值。 KPCA 并非如此。我想这里的问题是没有访问内核空间中的点，只是距离。因此，我们没有“意思”。但是，这至少不值得讨论吗？

感谢您的意见和建议，因为我认为这是迄今为止未提及的某种不准确之处。

【问题讨论】：

标签： kernel pca face-recognition

【解决方案1】：

在 Scholkopf 的早期 KPCA 工作中（有一篇以他为作者的评论论文，标题涉及“非线性成分分析”），有一个 KPCA 变体涉及减去均值。它使事情在计算上更加复杂，并且具有中心化的后续算法（例如估计逆或样本外估计）也变得更加复杂。这里的复杂性更多地与计算有关，更复杂 = 成本最高。

大约在同一时间，Williams 和 Seeger (2001) 的工作表明，KPCA 可以导出为密度函数的有限维近似（在高斯核或其他 Parzen 窗口类型函数下）。这种解释不需要平均偏移量。对于这些，KPCA 将数据映射到超球面也有很好的解释。平均偏移会破坏这种解释。我不确定它如何推广到与密度无关的非传统内核。这种基于密度的解释确实与正交序列密度估计和核熵分析（它提供了调整 KPCA 过程的方法）有很好的联系。

【讨论】：

非常感谢有关威廉姆斯和西格的提示，我会调查的。由于 RK 无论如何都与密度有关（源于 Fredholm Alternatives 和集成理论），这应该非常有趣。我有 Scholkopf 的书，但我找不到任何关于此的信息。正如我之前所说，“平均值”实际上并不存在于由距离的线性组合（=内积）定义的空间中，因为它不是点空间..