我正在使用以下 MNIST 示例：https://github.com/Lasagne/Lasagne/blob/master/docs/user/tutorial.rst
我阅读了有关训练和验证损失的信息。我知道validation loss代表了validation image set在通过训练好的网络运行后的error，但是这个数字的单位是什么？那么这个数字的确切含义是什么？
感谢您的帮助！
【问题讨论】：
标签： conv-neural-network mnist loss
您提到的示例中的损失函数是分类交叉熵损失。分类交叉熵损失计算每个类的交叉熵损失并返回总和。
cross entropy loss = - sigma(over all classes c) Yc 。 log(Pc) 其中 Yc 是正确的类标签，Pc 是 0 到 1 之间的预测概率。如您所见，如果一个类的标签为 1 且预测概率很小，则交叉熵损失将非常高，反之亦然反之亦然。
cross entropy 的单位是识别从集合中抽取的事件所需的“位”数，如果使用针对“非自然”概率分布 q 而不是“真实”概率分布优化的编码方案分布 p，给定两个概率分布 p 和 q。
在深度学习的上下文中，损失是一个缩放器值，它被反向传播以在下一次迭代中降低其值。
【讨论】：