交叉熵和对数损失误差有什么区别？

Question

交叉熵和对数损失误差有什么区别？两者的公式似乎非常相似。

Answer 1

它们本质上是相同的；通常，我们使用术语 log loss 来表示二元分类问题，而更一般的 cross-entropy (loss) 则用于多类分类的一般情况，但即使这样区别并不一致，您经常会发现这些术语作为同义词可以互换使用。

来自Wikipedia entry for cross-entropy：

逻辑损失有时称为交叉熵损失。也称为log loss

来自fast.ai wiki entry on log loss [链接现已失效]：

对数损失和交叉熵根据上下文略有不同，但在机器学习中，当计算 0 到 1 之间的错误率时，它们会解决相同的问题。

来自ML Cheatsheet：

交叉熵损失或对数损失衡量分类模型的性能，其输出是介于 0 和 1 之间的概率值。