正规方程之矩阵求导(Matrix derivatives)

1、背景

最近，开始学习机器学习之旅。我的学习方式是：跟着斯坦福公开课Andrew Ng的讲义和视屏开始学习。

下面，简单介绍一下线性回归下面的普通方程之矩阵求导。
对应英文章节：Linear Regression-->The normal equations-->Matrix derivatives

---

2、矩阵求导公式

∇AtrAB=BT${\mathrm{\nabla }}_{A}trAB=B^T$                                        (1)$(1)$

∇ATf(A)=(∇Af(A))T${\mathrm{\nabla }}_{A^T}f(A)=({\mathrm{\nabla }}_{A}f(A){)}^T$                         (2)$(2)$

∇AtrABATC=CAB+CTABT${\mathrm{\nabla }}_{A}trAB{A}^{T}C=CAB+C^{T}A{B}^T$        (3)$(3)$

∇A|A|=|A|(A−1)T${\mathrm{\nabla }}_A|A|=|A|(A^{-1}{)}^T$                              (4)$(4)$

---

3、公式推导

3.1 公式(1)的推导

知识须知:$知识须知:$
1、tr为矩阵的迹，即对角线元素之和。tr既然是对角线元素之和，那么矩阵为正方形矩阵。$1、tr为矩阵的迹，即对角线元素之和。tr既然是对角线元素之和，那么矩阵为正方形矩阵。$
2、∇符号为求梯度，实际上就是求导。∇A就是对A矩阵求导。$2、\mathrm{\nabla }符号为求梯度，实际上就是求导。{\mathrm{\nabla }}_A就是对A矩阵求导。$

设1A=(a11a21a12a22)$设\phantom{1}A=\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right)$ ,B=(b11b21b12b22)$,B=\left(\begin{array}{cc}{b}_{11}& b_{12}\\ b_{21}& b_{22}\end{array}\right)$

根据矩阵的相乘，那么有:$根据矩阵的相乘，那么有:$

AB=(a11b11+a12b21a21b11+a22b21a11b12+a12b22a21b12+a22b22)$$AB=\left(\begin{array}{cc}{a}_{11}{b}_{11}+a_{12}{b}_{21}& a_{11}{b}_{12}+a_{12}{b}_{22}\\ a_{21}{b}_{11}+a_{22}{b}_{21}& a_{21}{b}_{12}+a_{22}{b}_{22}\end{array}\right)$$

设1F=trAB$设\phantom{1}F=trAB$
而1trAB=a11b11+a12b21+a21b12+a22b22$而\phantom{1}trAB=a_{11}{b}_{11}+a_{12}{b}_{21}+a_{21}{b}_{12}+a_{22}{b}_{22}$

则有1∇AtrAB=(∂F∂a11∂F∂a21∂F∂a12∂F∂a22)=(b11b12b21b22)=BT$则有\phantom{1}{\mathrm{\nabla }}_{A}trAB=\left(\begin{array}{cc}\frac{\mathrm{\partial }F}{\mathrm{\partial }{a}_{11}}& \frac{\mathrm{\partial }F}{\mathrm{\partial }{a}_{12}}\\ \frac{\mathrm{\partial }F}{\mathrm{\partial }{a}_{21}}& \frac{\mathrm{\partial }F}{\mathrm{\partial }{a}_{22}}\end{array}\right)=\left(\begin{array}{cc}{b}_{11}& b_{21}\\ b_{12}& b_{22}\end{array}\right)=B^T$

得证$得证$

3.2 公式(2)的推导

设1A=(a11a21a12a22)$设\phantom{1}A=\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right)$

设1f(A)=2a11+3a12+4a21+5a22$设\phantom{1}f(A)=2a_{11}+3a_{12}+4a_{21}+5a_{22}$

则1∇Af(A)=(2435)$则\phantom{1}{\mathrm{\nabla }}_{A}f(A)=\left(\begin{array}{cc}2& 3\\ 4& 5\end{array}\right)$

转置后为1(∇Af(A))T=(2345)$转置后为\phantom{1}({\mathrm{\nabla }}_{A}f(A){)}^T=\left(\begin{array}{cc}2& 4\\ 3& 5\end{array}\right)$

而1∇ATf(A)=(2345)=(∇Af(A))T1得证$而\phantom{1}{\mathrm{\nabla }}_{A^T}f(A)=\left(\begin{array}{cc}2& 4\\ 3& 5\end{array}\right)=({\mathrm{\nabla }}_{A}f(A){)}^T\phantom{1}得证$

3.3 公式(3)的推导

知识须知:$知识须知:$
1、tr(A)=tr(AT)$1、tr(A)=tr(A^T)$
2、∇Atr(AB)=BT$2、{\mathrm{\nabla }}_{A}tr(AB)=B^T$
3、(AB)T=BTAT$3、(AB{)}^T=B^T{A}^T$

令1X=A$令\phantom{1}X=A$

∇Atr(ABATC)=∇Xtr(XBATC)+∇Xtr(ABXTC)${\mathrm{\nabla }}_{A}tr(AB{A}^{T}C)={\mathrm{\nabla }}_{X}tr(XB{A}^{T}C)+{\mathrm{\nabla }}_{X}tr(AB{X}^{T}C)$
10000000000=(BATC)T+∇Xtr(CABXT)$\phantom{10000000000}=(B{A}^{T}C{)}^T+{\mathrm{\nabla }}_{X}tr(CAB{X}^T)$
10000000000=BTACT+∇Xtr(X(CAB)T)$\phantom{10000000000}=B^{T}A{C}^T+{\mathrm{\nabla }}_{X}tr(X(CAB{)}^T)$
10000000000=BTACT+((CAB)T)T$\phantom{10000000000}=B^{T}A{C}^T+((CAB{)}^T{)}^T$
10000000000=BTACT+∇Xtr(X(CAB)T)$\phantom{10000000000}=B^{T}A{C}^T+{\mathrm{\nabla }}_{X}tr(X(CAB{)}^T)$
10000000000=CTABT+CAB1得证$\phantom{10000000000}=C^{T}A{B}^T+CAB\phantom{1}得证$

3.4 公式(4)的推导

知识须知:$知识须知:$
1、AA−1=E=11(单位矩阵)$1、A{A}^{-1}=E=1\phantom{1}(单位矩阵)$
2、tra=a1(a为是实数)$2、tra=a\phantom{1}(a为是实数)$
3、traA=atrA$3、traA=atrA$
4、∇AtrAB=BT$4、{\mathrm{\nabla }}_{A}trAB=B^T$
5、|A|为行列式，既然是行列式就能求出一个实数，则|A|为一个实数$5、|A|为行列式，既然是行列式就能求出一个实数，则|A|为一个实数$

∇A|A|=|A|∇Atr1${\mathrm{\nabla }}_A|A|=|A|{\mathrm{\nabla }}_{A}tr1$
=|A|∇AtrE$=|A|{\mathrm{\nabla }}_{A}trE$
=|A|∇AtrAA−1$=|A|{\mathrm{\nabla }}_{A}trA{A}^{-1}$
=|A|(A−1)T$=|A|(A^{-1}{)}^T$

---

4、相关资料

视屏网站：斯坦福公开课视频-机器学习
讲义网站：斯坦福公开课讲义-机器学习