使用相关矩阵对大型稀疏矩阵进行 PCA答案

【问题标题】：PCA on large Sparse matrix using Correlation matrix使用相关矩阵对大型稀疏矩阵进行 PCA
【发布时间】：2012-11-15 13:58:17
【问题描述】：

我有一个大的（500k x 500k）稀疏矩阵。我想了解它的主要组成部分（事实上，即使只计算最大的 PC 也可以）。随机 PCA 效果很好，除了它本质上是寻找协方差矩阵的特征向量而不是相关矩阵。关于使用大型稀疏矩阵的协方差矩阵找到 PCA 的包的任何想法？最好在 python 中，虽然 matlab 和 R 也可以。

（作为参考，here 提出了类似的问题，但方法参考协方差矩阵）。

【问题讨论】：

标签： python matlab numpy machine-learning sparse-matrix

【解决方案1】：

您是否曾经在 R 中尝试过 irlba 包 - “IRLBA 包是该方法的 R 语言实现。使用它，您可以计算超大规模数据的部分 SVD 和主成分分析。该包适用于稀疏矩阵以及 Bigmemory 包提供的其他矩阵类。”详情可以查看here

【讨论】：

【解决方案2】：

它们不是一回事吗？据我了解，相关矩阵只是由每个变量的标准偏差的乘积归一化的协方差矩阵。而且，如果我没记错的话，PCA 中是否存在缩放歧义？

【讨论】：