不同的成本函数利弊

Question

我看过book 和 Andrew Ng 的神经网络成本函数，我注意到 Andrew Ng 的成本函数与神经网络书籍不同。 吴恩达的用途 J(Θ)=−(1/m)∑∑[y * log((hΘ(x)))+(1−y) * log(1−(hΘ(x)))] 而本书使用均方误差。

每个误差公式的优缺点是什么？

Answer 1

第一个代价函数，所谓的交叉熵损失或对数损失，用于衡量输出在 0 和 1 之间的分类模型的性能。与实际标签的偏差越大，交叉熵越高失利。例如，当实际值为 1 时，预测概率为 0.6 是不好的结果，会导致高损失值。当交叉熵损失为 0 时，称模型是完美的。

MSE 衡量模型预测与实际标签不同的平均值。可以将其视为模型在训练集上的表现，因此，当模型在训练集上的表现不佳时，成本会更高。它也被称为 L2 损失。在训练模型时，任务是最小化估计目标值和实际目标值之间的平方差。