一、PCA降维过程

只需对协方差矩阵X*transpose(X)进行特征值分解,将求得的特征值排序:λ1>=λ2>=…>=λd,再取前d’个特征值对应的特征向量构成W=(w1,w2,…,wd’),这就是PCA的解。

西瓜书中的PCA算法如下:
西瓜书:PCA数学推导
需要说明的是,算法中的向量为列向量。假设原始维度为d,样本数目为m,因此特征矩阵X的维度为d×m,W的维度为d×d’。降维的时候,transpose(W)*X得到 d’×m的矩阵,它的每一列,即为降维后的向量。

二、PCA优化目标与求解

1.PCA优化目标
西瓜书:PCA数学推导
西瓜书:PCA数学推导
2.求解
西瓜书:PCA数学推导
西瓜书:PCA数学推导
西瓜书:PCA数学推导
补充:瑞利熵
西瓜书:PCA数学推导
西瓜书:PCA数学推导
西瓜书:PCA数学推导
西瓜书:PCA数学推导
PCA的目标是通过降维之后的向量,再还原回来的之后和原向量最接近(都是用线性映射),为了实现这个目标,得到的投影矩阵恰好是,原数据集的协方差矩阵的前d’个主成分为列组成的矩阵。

参考博客:https://blog.csdn.net/wyl1813240346/article/details/78548274

相关文章:

  • 2021-10-14
  • 2021-11-04
  • 2021-10-26
  • 2021-06-18
  • 2021-10-15
  • 2021-06-17
  • 2021-04-11
  • 2021-04-17
猜你喜欢
  • 2022-01-01
  • 2021-08-28
  • 2021-12-20
  • 2021-05-25
  • 2021-07-19
  • 2021-04-29
  • 2021-04-19
相关资源
相似解决方案