在不同的准确性/错误指标之间转换 [关闭]

Question

我正在尝试比较几个不同测量指标之间的模型准确性。例如，一些引用使用准确性，而其他引用使用错误。那是相当明显的，但是有很多不同的指标，我不完全确定如何比较其中一些而不失去一些单独的指标完整性。或者是否可以比较一些。我的清单是：

错误率 - 平均绝对误差 - 绝对错误 - 对数损失 - 分类精度 - 均方根误差 - 分类错误 - F-测量 - 曲线下面积 - 平均检验误差 - 错误百分比 - 错误分类错误 - 测试错误 - 均值检验误差

所以我的问题是如何有效地在这些之间进行转换，如果无法直接转换，则以有意义且准确的方式进行比较和排名。

Answer 1

1. 您通常无法转换这些指标。他们测量微妙的不同事物。但是 linear 误差与 squared 误差不同。

2. 在一个指标上获胜并不不意味着在另一个指标上获胜。假设我们想将单变量数据汇总为一个数字。均值最小化平方误差、中值线性误差 - 因此它们具有不同的最优解，并且根据您的评估度量，您可能会获得不同的获胜者。

3. 不要比较不同的文章。他们将使用了不同的预处理、特征、特征选择、归一化、子集、交叉验证的不同分割等。

通常，比较这些数字是行不通的。

您必须自己重新运行他们的实验，使用完全相同的输入和评估。