【发布时间】：2017-08-05 12:27:22
【问题描述】：
谁能详细告诉我PCA（主成分分析）、TruncatedSVD（截断奇异值分解）和ICA（独立成分分析）之间的区别？
【问题讨论】：
标签： machine-learning pca svd
【发布时间】：2017-08-05 12:27:22
【问题描述】：
详细操作将需要长页 PDF 文档:-)。
但想法很简单：
- 主成分分析 (PCA) - 分析数据原生坐标。即沿数据最有能量的坐标（Variance）。对于 n 个维度为 d 的样本，将有 $ d $ 个正交方向。即投影在它们上的数据没有相关性。如果我们将数据视为随机变量，这意味着我们找到了一个坐标系，其中投影数据中任何一对的互相关（第一矩）都消失了。
这是一种通过保留大部分能量来近似低维数据的非常有效的方法。 - 截断的 SVD - 可以证明计算这些坐标系统的方法之一是使用 SVD。因此，这是应用 PCA 背后思想的方法。
- 独立成分分析 (ICA) - 这比 PCA 更进一步。而在 PCA 中，我们只处理 ICA 中数据的一阶矩（相关性），我们正在研究更高的矩，并试图找到一个消失了更高矩的数据投影（想想缺乏相关性与概率独立性）。
【讨论】：