Softmax函数与交叉熵

在Logistic regression二分类问题中，我们可以使用sigmoid函数将输入Wx+b映射到(0,1)区间中，从而得到属于某个类别的概率。将这个问题进行泛化，推广到多分类问题中，我们可以使用softmax函数，对输出的值归一化为概率值

这里假设在进入softmax函数之前，已经有模型输出C值，其中C是要预测的类别数，模型可以是全连接网络的输出aa，其输出个数为C，即输出为： $a_{1}, a_{2}, ..., a_{C}$

所以对每个样本，它属于类别i的概率为：

$y_{i} = \frac{e^{a_i}}{\sum_{k=1}^{C}e^{a_k}} \ \ \ \forall i \in 1...C$

通过上式可以保证 $\sum_{i=1}^{C}y_i = 1$ ，即属于各个类别的概率和为1

对softmax函数进行求导，即求： $\frac{\partial{y_{i}}}{\partial{a_{j}}}$ ，第i项的输出对第j项输入的偏导。代入softmax函数表达式，可以得到：

$\frac{\partial{y_{i}}}{\partial{a_{j}}} = \frac{\partial{ \frac{e^{a_i}}{\sum_{k=1}^{C}e^{a_k}} }}{\partial{a_{j}}}$

求导规则：对于 $f(x) = \frac{g(x)}{h(x)}$ ，导数为：

$f'(x) = \frac{g'(x)h(x) - g(x)h'(x)}{[h(x)]^2}$

所以在我们这个例子中，

$g(x) = e^{a_i} \\ h(x) = \sum_{k=1}^{C}e^{a_k}$

上面两个式子只是代表直接进行替换，而非真的等式。 $e^{a_i}$ ，（即g(x)= $g(a_j)$ 对 $a_j$ 进行求导)，要分情况讨论：

如果i=j，则求导结果为 $e^{a_i}$
如果i≠j，则求导结果为0

再来看 $\sum_{k=1}^{C}e^{a_k}$ 对 $a_j$ 求导，结果为 $e^{a_j}$

所以，当i=j时：(其中，为了方便，令 $\Sigma = \sum_{k=1}^{C}e^{a_k}$ )

$\frac{\partial{y_{i}}}{\partial{a_{j}}} = \frac{\partial{ \frac{e^{a_i}}{\sum_{k=1}^{C}e^{a_k}} }}{\partial{a_{j}}} = \frac{ e^{a_i}\Sigma - e^{a_i}e^{a_j}}{\Sigma^2} =\frac{e^{a_i}}{\Sigma}\frac{\Sigma - e^{a_j}}{\Sigma} =y_i(1 - y_j)$

当i≠j时：

$\frac{\partial{y_{i}}}{\partial{a_{j}}} = \frac{\partial{ \frac{e^{a_i}}{\sum_{k=1}^{C}e^{a_k}} }}{\partial{a_{j}}} = \frac{ 0 - e^{a_i}e^{a_j}}{\Sigma^2} =-\frac{e^{a_i}}{\Sigma}\frac{e^{a_j}}{\Sigma} =-y_iy_j$

标红下，这俩公式很重要：

Softmax函数与交叉熵