交叉熵误差函数在普通的反向传播算法中是如何工作的？答案

【问题标题】：How does the cross-entropy error function work in an ordinary back-propagation algorithm?交叉熵误差函数在普通的反向传播算法中是如何工作的？
【发布时间】：2011-02-25 04:42:13
【问题描述】：

我正在使用 C++ 开发前馈反向传播网络，但似乎无法使其正常工作。我所基于的网络正在使用交叉熵误差函数。但是，我对它不是很熟悉，即使我正在尝试查找它，我仍然不确定。有时看起来很容易，有时看起来很困难。该网络将解决多项分类问题，据我了解，交叉熵误差函数适用于这些情况。有人知道它是如何工作的吗？

【问题讨论】：

我对神经网络不是很熟悉，但即便如此，你的问题听起来还是很模糊。你到底有什么问题？如果你能把问题缩小一点，你就更有可能得到有用的答案。
嗯，基本上我只是不知道算法应该是什么样子。或者，为了缩小范围，如何计算误差梯度以及如何使用交叉熵误差函数反向传播误差？网络使用 sigmoid 激活函数。

标签： neural-network backpropagation

【解决方案1】：

啊，是的，很好的反向传播。它的乐趣在于，你使用什么错误函数并不重要（在实现方面），只要它是可微的。一旦您知道如何计算每个输出单元的交叉熵（参见wiki article），您只需对该函数求偏导数即可找到隐藏层的权重，然后再计算输入层的权重。

但是，如果您的问题不是关于实施，而是关于培训困难，那么您的工作就完成了。不同的误差函数擅长不同的事情（最好仅根据误差函数的定义进行推理），而且这个问题还与学习率等其他参数更加复杂。

希望对您有所帮助，如果您需要任何其他信息，请告诉我；你的问题有点含糊……

【讨论】：