【深度学习】回归问题和分类问题损失函数求导

1.回归问题

$J = \frac{1}{2N}\sum_{i=1}^{N} \|y^i - \hat{y} \|^2$J=2N1​i=1∑N​∥yi−y^​∥2
$\frac{ \partial J}{\partial y^i} = \frac{1}{N}\sum_{i=1}^{N}{(y^i - \hat{y})}$∂yi∂J​=N1​i=1∑N​(yi−y^​)

2.分类问题

先对y进行softmax：
$S_k = \frac{e^{y_{k}}}{\sum_{i=1}^{n}{e^{y_i}}}$Sk​=∑i=1n​eyi​eyk​​
以单个样本为例，网络输出的$\hat{S} (s_1,s_2,...,s_n)$S^(s1​,s2​,...,sn​)为一个概率分布，n是类别个数；该样本的实际标签一般one-hot形式，$S (0,0,...,1,0,0,..0)$S(0,0,...,1,0,0,..0)可以看做是（硬）概率分布。
可以考虑KL散度来计算损失。其实，直接根据交叉熵就可以写出损失函数：
这里只考虑单个样本，方便简化运算。
$J = \sum_{k=1}^{n}{Slog\hat{S}} \\ = - log (s_k) =-log(\frac{e^{y_{k}}}{\sum_{i=0}^{n-1}{e^{y_i}}})$J=k=1∑n​SlogS^=−log(sk​)=−log(∑i=0n−1​eyi​eyk​​)
对$y_k$yk​求导:
$\frac{ \partial J}{\partial y_k} = \frac{\partial }{\partial y_k}\{{log (\sum_{i=0}^{n-1}e^{y_i}}) - y_k \} = \frac{e^{y_{k}}}{\sum_{i=0}^{n-1}{e^{y_i}}} - 1$∂yk​∂J​=∂yk​∂​{log(i=0∑n−1​eyi​)−yk​}=∑i=0n−1​eyi​eyk​​−1
即可以写成 :
$\frac{ \partial J}{\partial y_k} = s_k - \delta(i=k) ， \\ \delta =1,当i=k时，\delta=0, 当i!=k时$∂yk​∂J​=sk​−δ(i=k)，δ=1,当i=k时，δ=0,当i!=k时
最终写成向量的形式（单个样本形式）:
$\frac{ \partial J}{\partial y} = S - \hat{S}$∂y∂J​=S−S^