深度学习中的Matrix Calculus (2)： Trace And Matrix Differential

  本篇主要内容就是矩阵标量函数的求导，基本思路就是：

给标量函数套上迹trace；
利用迹和矩阵微分的性质进行化简，化简到df=tr((∂f∂x)Tdx)$df=\mathrm{t}\mathrm{r}\left({\left(\frac{\mathrm{\partial }\mathrm{f}}{\mathrm{\partial }\mathrm{x}}\right)}^{\mathrm{T}}\mathrm{d}\mathbf{x}\right)$就可以了
然后就可以得到∂f∂x$\frac{\mathrm{\partial }f}{\mathrm{\partial }x}$了

  因此，在深度学习中，假如loss是L2 Norm，也就是f=loss=‖‖aN−y‖‖22$f=loss={\Vert a^N-y\Vert }_2^2$，那么∂f∂aL=2(a−y)$\frac{\mathrm{\partial }f}{\mathrm{\partial }{a}^L}=2(a-y)$
下面贴上参考资料：