ROC 空间中的最佳分类器答案

【问题标题】：Best classifier in ROC SpaceROC 空间中的最佳分类器
【发布时间】：2017-04-10 06:10:15
【问题描述】：

我一直在做一些事情，并制作了以下情节：

由于所有分类器都在随机线下方，我读到我们应该/可以“反转”它们。我知道最靠近左上角的分类器是最好的分类器。在这里，我将如何获得最好的分类器？我应该倒置吗？

【问题讨论】：

标签： r machine-learning data-mining

【解决方案1】：

不要只是“阅读”，而是要尝试理解原因......

如果分类器低于该线，则其误报率高于误报率。换句话说，所有分类器的输出错误多于正确。

通常，这表示配置错误，我不建议通过将分类器视为“骗子”来破解此问题。相反，找到解决根本原因。

【讨论】：

【解决方案2】：

请记住，低于 0.5 的 AUC 值并不自动意味着分类器输出被反转。 AUC 是对分类器性能的估计，与任何估计一样，它可能会受到偏差的影响。负偏差在小样本数据集中尤为普遍，并且在生物信息学领域得到了相当广泛的分析。例如，看看下面的论文：https://www.ncbi.nlm.nih.gov/pubmed/17764577

长话短说：您的预测变量可能真的是随机的，但您对其性能的估计 (AUC) 是有偏差的。如果是这种情况，则没有“最佳”预测器，因为它们都像掷硬币一样好。

【讨论】：