交叉熵损失与准确性之间的关系

Question

我正在针对图像分类任务训练一些 CNN。 在一个简单的版本上这很好用，但是当我使图像变得更困难时，我现在遇到了这种现象（我让它整夜训练）：

训练时，训练交叉熵损失下降。此外，在我的测试数据集上，交叉熵损失下降了。我正在进一步测量它的准确性，它的行为不同。一开始它是上涨的，只是再次下跌，然后它在0.1和0.3之间摇摆不定。 我期待交叉熵损失和准确度有点相关 - 因为它们都是在相同的测试数据集上测量的。

谁能给我解释一下？还是我的代码有错误？

非常感谢

Answer 1

交叉熵并不总是与误差度量直接相关。通常它与错误率的相关性足够好。另一个典型的选择是最小化贝叶斯风险。贝叶斯风险只是关于您的模型的错误预期（相反的准确性）。这是一个持续的损失，应该与您的错误率更好地相关。此外，测量训练误差通常是一个很好的跟踪指标。