主成分分析 - 降维答案

【问题标题】：Principal Component Analysis - Dimensionality Reduction主成分分析 - 降维
【发布时间】：2022-06-16 15:16:55
【问题描述】：

当我们谈论 PCA 时，我们说我们使用它来降低数据的维度。我有二维数据，使用 PCA 将维度降低到一维。

现在，

第一个组件将采用捕获最大方差的方式。第一个组件具有最大值是什么意思。方差？

此外，如果我们采用 3-d 数据并将其维度减少到 2-d，那么第一个组件将构建为沿 x 轴或 y 轴具有最大方差？

【解决方案1】：

PCA 的工作原理是首先将数据集中在原点（从每个数据点减去平均值），然后将其旋转到与轴一致（将协方差矩阵对角化为“方差”矩阵）。然后对分量进行排序，使方差矩阵的对角线按降序排列，这意味着第一个分量具有最大方差，第二个分量具有次大方差，依此类推。稍后，您可以通过归零来压缩原始数据取出不太重要的组件（投影到主组件上），然后撤消上述转换。

要回答您的问题：

具有最大方差的第一个分量意味着它在方差矩阵中的对应条目是最大的。
我想这取决于你所说的轴。

资料来源：David Forsyth 的计算机科学概率和统计。

【讨论】：