矩阵奇异值分解

Notations:
(1)Diag(x)$\text{Diag}(\mathit{x})$表示以矢量为矩阵对角线元素构成对角阵，如Diag(a,b)=(a00b)$\text{Diag}(a,b)=\left(\begin{array}{cc}a& 0\\ 0& b\end{array}\right)$；
(2)粗体符号表示矩阵或者矢量，如x$\mathit{x}$表示矢量，A$\mathit{A}$表示矩阵。

特征值与特征向量

　　矩阵的乘法对应着一种线性变换使得原向量在方向和长度上发生变化，比如f(x)=Ax(x∈Rn,A∈Rm×n)$f(\mathit{x})=\mathit{A}\mathit{x}(\mathit{x}\in {\mathbb{R}}^n,\mathit{A}\in {\mathbb{R}}^{m\times n})$，f$f$表示从Rn${\mathbb{R}}^n$空间到Rm${\mathbb{R}}^m$空间的一种线性映射关系。我们考虑A$\mathit{A}$是方阵的情况。

y=Ax(1)$$\begin{array}{}\text{(1)}& \mathit{y}=\mathit{A}\mathit{x}\end{array}$$

其中y∈Rm$\mathit{y}\in {\mathbb{R}}^m$。矩阵A$\mathit{A}$与向量x$\mathit{x}$相乘，表示对x$\mathit{x}$进行一次方向和长度上的变换，即向量y$\mathit{y}$。
例如：A=(a11,a12a21,a22)$\mathit{A}=\left(\begin{array}{c}{a}_{11},a_{12}\\ a_{21},a_{22}\end{array}\right)$, x=(b1,b2)T$\mathit{x}=(b_1,b_2{)}^{\text{T}}$，则

y=(a11b1+a12b2a21b1+a22b2)(2)$$\begin{array}{}\text{(2)}& \mathit{y}=\left(\begin{array}{c}{a}_{11}{b}_1+a_{12}{b}_2\\ a_{21}{b}_1+a_{22}{b}_2\end{array}\right)\end{array}$$

|x|=b21+b22−−−−−−√, |y|=(a11b1+a12b2)2+(a21b1+a22b2)2−−−−−−−−−−−−−−−−−−−−−−−−−−−√$|\mathit{x}|=\sqrt{b_1^2+b_2^2},|\mathit{y}|=\sqrt{(a_{11}{b}_1+a_{12}{b}_2{)}^2+(a_{21}{b}_1+a_{22}{b}_2{)}^2}$
∠(x,y)=cos−1b1(a11b1+a12b2)+b2(a21b1+a22b2)|x||y|$\mathrm{\angle }(\mathit{x},\mathit{y})={\cos }^{-1}\frac{b_1(a_{11}{b}_1+a_{12}{b}_2)+b_2(a_{21}{b}_1+a_{22}{b}_2)}{|\mathit{x}||\mathit{y}|}$

问题：对于线性变换矩阵A$\mathit{A}$,是否存在这样一个向量ξ$\mathit{\xi }$, 经过这种特定的变换之后保持方向不变，只是进行长度上的拉伸，即使得∠(ξ,y)=0, |y|=|λ||ξ|$\mathrm{\angle }(\mathit{\xi },\mathit{y})=0,|\mathit{y}|=|\lambda ||\mathit{\xi }|$。

定义：设A$\mathit{A}$是n$n$阶方阵，如果数λ$\lambda$和n$n$维非零列向量x$\mathit{x}$满足

Ax=λx(3)$$\begin{array}{}\text{(3)}& \mathit{A}\mathit{x}=\lambda \mathit{x}\end{array}$$

称λ$\lambda$是矩阵A$\mathit{A}$的特征值，x$\mathit{x}$是矩阵A$\mathit{A}$对应λ$\lambda$的特征向量[1]。
　　根据上面的描述，我们知道，特征向量就是这样一个满足经过线性变换阵A$\mathit{A}$之后，只发生长度上变换，方向不变的向量。那我们为什么求这样的特征值与特征向量呢？可以这样理解，对于一个实际的线性系统，其特性可以用矩阵A$\mathit{A}$来描述，对于输入向量x$\mathit{x}$，系统输出为y$\mathit{y}$会出现相位滞后、放大或者缩小等现象，而对于输入为特征向量ξ$\xi$，该系统的输出只发生缩放，没有相位的变化。
　　设ξi${\mathit{\xi }}_i$是矩阵对应于λi${\lambda }_i$的特征值，则有

Aξi=λiξi⇒(Aξ1,⋯,Aξn)=(λ1ξ1,⋯,λnξn)⇒A(ξ1,⋯,ξn)=(ξ1,⋯,ξn)⎛⎝⎜⎜⎜⎜⎜λ1λ2⋱λn⎞⎠⎟⎟⎟⎟⎟(4)(5)(6)$$\begin{array}{}\text{(4)}& & {\mathit{A}\mathit{\xi }}_i={\lambda }_i{\mathit{\xi }}_i\text{(5)}& & \Rightarrow ({\mathit{A}\mathit{\xi }}_1,\cdots ,{\mathit{A}\mathit{\xi }}_n)=({\lambda }_1{\mathit{\xi }}_1,\cdots ,{\lambda }_n{\mathit{\xi }}_n)\text{(6)}& & \Rightarrow \mathit{A}({\mathit{\xi }}_1,\cdots ,{\mathit{\xi }}_n)=({\mathit{\xi }}_1,\cdots ,{\mathit{\xi }}_n)\left(\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right)\end{array}$$

令P=(ξ1,⋯,ξn)$\mathit{P}=({\mathit{\xi }}_1,\cdots ,{\mathit{\xi }}_n)$，Λ=Diag(λ1,⋯,λn)$\mathbf{\Lambda }=\text{Diag}({\lambda }_1,\cdots ,{\lambda }_n)$则有

AP=PΛ(7)$$\begin{array}{}\text{(7)}& \mathit{A}\mathit{P}=\mathit{P}\mathbf{\Lambda }\end{array}$$

因此，矩阵A$\mathit{A}$对角化的问题就等价于方阵P$\mathit{P}$是否可逆，即A$\mathit{A}$是否有n$n$个线性无关的特征向量。矩阵A$\mathit{A}$有n$n$个线性无关的特征向量有两种情况
（1）n$n$阶方阵A$\mathit{A}$有n$n$个不同的特征值，对应有n$n$线性无关的特征向量。
（2）n$n$阶方阵A$\mathit{A}$有重根情况，且对应k$k$重根特征值λ$\lambda$，有n−rank(A−λI)=k$n-\text{rank}(\mathit{A}-\lambda \mathbf{I})=k$。
注意，并不是任意的矩阵都可以相似对角化。以下针对P$\mathit{P}$可逆的情况，那么有

A=PΛP−1(8)$$\begin{array}{}\text{(8)}& \mathit{A}={\mathit{P}\mathbf{\Lambda }\mathit{P}}^{-1}\end{array}$$

进一步的，若P$\mathit{P}$是一个正交矩阵，即

A=PΛPT=∑i=1nλiξiξT(9)$$\begin{array}{}\text{(9)}& \mathit{A}={\mathit{P}\mathbf{\Lambda }\mathit{P}}^T=\sum _{i=1}^n{\lambda }_i{\mathit{\xi }}_i{\mathit{\xi }}^{\text{T}}\end{array}$$

也就是说，A$\mathit{A}$矩阵可以由特征向量线性组合进行表示。

奇异值分解

矩阵的特征值分解仅仅是针对方阵的，对于长方形矩阵A∈Rm×n$\mathit{A}\in {\mathbb{R}}^{m\times n}$，也存在着类似的分解，称奇异值分解[2]。
定义：设矩阵A∈Rm×n$\mathit{A}\in {\mathbb{R}}^{m\times n}$，且rank(A)=r$rank(\mathit{A})=r$，则存在m$m$阶正交矩阵V$\mathit{V}$和n$n$阶正交矩阵U$\mathit{U}$，使得

A=VΣUT(10)$$\begin{array}{}\text{(10)}& \mathit{A}={\mathit{V}\mathbf{\Sigma }\mathit{U}}^{\text{T}}\end{array}$$

其中Σ=(Λ0(m−r)×r0(r)×(n−r)0(m−r)×(n−r))$\mathbf{\Sigma }=\left(\begin{array}{cc}\mathbf{\Lambda }& {\mathbf{0}}_{(r)\times (n-r)}\\ {\mathbf{0}}_{(m-r)\times r}& {\mathbf{0}}_{(m-r)\times (n-r)}\end{array}\right)$，其中Λ=Diag(σ1,σ2,⋯,σr)$\mathbf{\Lambda }=\text{Diag}({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r)$，并且σ1≥σ2⋯≥σr≥0${\sigma }_1\ge {\sigma }_2\cdots \ge {\sigma }_r\ge 0$。
证：因为rank(A)=r$\text{rank}(\mathit{A})=r$，因此设ATA${\mathit{A}}^{\text{T}}\mathit{A}$的特征值为

σ21≥⋯,≥σ2r≥0,σ2r+1=σ2n=0(11)$$\begin{array}{}\text{(11)}& {\sigma }_1^2\ge \cdots ,\ge {\sigma }_r^2\ge 0,{\sigma }_{r+1}^2={\sigma }_n^2=0\end{array}$$

由于ATA${\mathit{A}}^{\text{T}}\mathit{A}$是对称矩阵，因此必可以相似对角化[1]，即存在正交矩阵U$U$，使得

UTATAU=Diag(σ21,⋯,σ2r,0,⋯,0n−r)(12)$$\begin{array}{}\text{(12)}& {\mathit{U}}^{\text{T}}{\mathit{A}}^{\text{T}}\mathit{A}\mathit{U}=\text{Diag}({\sigma }_1^2,\cdots ,{\sigma }_r^2,\underset{n-r}{\underbrace{0,\cdots ,0}})\end{array}$$

记U=[U1,U2]$\mathit{U}=[{\mathit{U}}_1,{\mathit{U}}_2]$,其中U1${\mathit{U}}_1$是一个n×r$n\times r$的矩阵，U2${\mathit{U}}_2$是一个n×(n−r)$n\times (n-r)$的矩阵。因此，上式可以写为

ATA[U1,U2]=[U1,U2](Λ2000)(13)$$\begin{array}{}\text{(13)}& {\mathit{A}}^{\text{T}}\mathit{A}[{\mathit{U}}_1,{\mathit{U}}_2]=[{\mathit{U}}_1,{\mathit{U}}_2]\left(\begin{array}{cc}{\mathbf{\Lambda }}^2& \mathbf{0}\\ \mathbf{0}& \mathbf{0}\end{array}\right)\end{array}$$

则有

ATAU1=U1Λ2,ATAU2=0(14)$$\begin{array}{}\text{(14)}& {\mathit{A}}^{\text{T}}{\mathit{A}\mathit{U}}_1={\mathit{U}}_1{\mathbf{\Lambda }}^2,{\mathit{A}}^{\text{T}}{\mathit{A}\mathit{U}}_2=\mathbf{0}\end{array}$$

记V=[V1,V2]$\mathit{V}=[{\mathit{V}}_1,{\mathit{V}}_2]$，其中V1${\mathit{V}}_1$是m×r$m\times r$矩阵，V2${\mathit{V}}_2$是m×(m−r)$m\times (m-r)$矩阵

ATAU1=U1Λ2 ⇒ATAU1Λ=U1Λ(15)$$\begin{array}{}\text{(15)}& {\mathit{A}}^{\text{T}}{\mathit{A}\mathit{U}}_1={\mathit{U}}_1{\mathbf{\Lambda }}^2\Rightarrow {\mathit{A}}^{\text{T}}{\mathit{A}\mathit{U}}_1\mathbf{\Lambda }={\mathit{U}}_1\mathbf{\Lambda }\end{array}$$

令V1=AU1Λ−1${\mathit{V}}_1={\mathit{A}\mathit{U}}_1{\mathbf{\Lambda }}^{-1}$，有

VT1V1=(AU1Λ−1)TAU1Λ−1=Σ−1UT1ATAU1Σ−1=Λ−1Σ2Λ−1=Ir(16)(17)(18)(19)$$\begin{array}{}\text{(16)}& {\mathit{V}}_1^{\text{T}}{\mathit{V}}_1& =({\mathit{A}\mathit{U}}_1{\mathbf{\Lambda }}^{-1}{)}^{\text{T}}{\mathit{A}\mathit{U}}_1{\mathbf{\Lambda }}^{-1}\text{(17)}& & ={\mathbf{\Sigma }}^{-1}{\mathit{U}}_1^{\text{T}}{\mathit{A}}^{\text{T}}\mathit{A}{\mathit{U}}_1{\mathbf{\Sigma }}^{-1}\text{(18)}& & ={\mathbf{\Lambda }}^{-1}{\mathbf{\Sigma }}^2{\mathbf{\Lambda }}^{-1}\text{(19)}& & ={\mathbf{I}}_r\end{array}$$

即V1${\mathit{V}}_1$是列正交规范化矩阵。取V2${\mathit{V}}_2$，使得V=[V1,V2]$\mathit{V}=[{\mathit{V}}_1,{\mathit{V}}_2]$是正交矩阵，因此

V2AU1=VT2V1Λ=0(20)$$\begin{array}{}\text{(20)}& {\mathit{V}}_2{\mathit{A}\mathit{U}}_{\mathbf{1}}={\mathit{V}}_2^{\text{T}}{\mathit{V}}_1\mathbf{\Lambda }=\mathbf{0}\end{array}$$

那么

VTAU=(VT1VT2)A[U1,U2]=(VT1AU1V2AU1,VT1AU2VT2AU2)=(Λ000)(21)$$\begin{array}{}\text{(21)}& {\mathit{V}}^{\text{T}}\mathit{A}\mathit{U}=\left(\begin{array}{c}{\mathit{V}}_1^{\text{T}}\\ {\mathit{V}}_2^{\text{T}}\end{array}\right)\mathit{A}[{\mathit{U}}_1,{\mathit{U}}_2]=\left(\begin{array}{cc}{\mathit{V}}_1^{\text{T}}\mathit{A}{\mathit{U}}_1& {\mathit{V}}_1^{\text{T}}\mathit{A}{\mathit{U}}_2\\ {\mathit{V}}_2{\mathit{A}\mathit{U}}_1,& {\mathit{V}}_2^{\text{T}}{\mathit{A}\mathit{U}}_2\end{array}\right)=\left(\begin{array}{cc}\mathbf{\Lambda }& \mathbf{0}\\ \mathbf{0}& \mathbf{0}\end{array}\right)\end{array}$$

即

A=VΣUT(22)$$\begin{array}{}\text{(22)}& \mathit{A}=\mathit{V}\mathbf{\Sigma }{\mathit{U}}^{\text{T}}\end{array}$$

Pseudo逆矩阵

令A=VΣUT$\mathit{A}={\mathit{V}\mathbf{\Sigma }\mathit{U}}^{\text{T}}$是矩阵A∈Rm×n$\mathit{A}\in {\mathbb{R}}^{m\times n}$的奇异值分解，且rank(A)=r$\text{rank}(\mathit{A})=r$，定义矩阵A$\mathit{A}$的pseudo逆为

A+=UΣ−1VT∈Rn×m(23)$$\begin{array}{}\text{(23)}& {\mathit{A}}^{+}=\mathit{U}{\mathbf{\Sigma }}^{-1}{\mathit{V}}^{\text{T}}\in {\mathbb{R}}^{n\times m}\end{array}$$

也称为Moore-Penrose广义逆矩阵。另外一种表达式是

A+=(ATA)−1AT=AT(AAT)−1(24)$$\begin{array}{}\text{(24)}& {\mathit{A}}^{+}=({\mathit{A}}^{\text{T}}\mathit{A}{)}^{-1}{\mathit{A}}^{\text{T}}={\mathit{A}}^{\text{T}}({\mathit{A}\mathit{A}}^{\text{T}}{)}^{-1}\end{array}$$

可以很容易证明两种表达式是等价的，我们可以从长方形矩阵的奇异分解来解释第二个式子表达式的合理性。当m>n$m>n$时，采用A+=(ATA)−1AT${\mathit{A}}^{+}=({\mathit{A}}^{\text{T}}\mathit{A}{)}^{-1}{\mathit{A}}^{\text{T}}$；当m<n$m<n$时，通常采用A+=AT(AAT)−1${\mathit{A}}^{+}={\mathit{A}}^{\text{T}}({\mathit{A}\mathit{A}}^{\text{T}}{)}^{-1}$。

参考文献

[1] 同济大学数学系, 线性代数[M].北京: 高等教育出版社, 2012.
[2] 戴华, 矩阵论[M].北京: 科学出版社, 2015.