我的 ROC 曲线的一个区域低于随机线答案

【问题标题】：A region of my ROC curve is below the random line我的 ROC 曲线的一个区域低于随机线
【发布时间】：2018-04-13 05:42:41
【问题描述】：

我在高光谱图像中有一些目标，我想检测它们。我提出了一个检测器，然后我通过接收器操作特性 (ROC) 曲线分析了它的性能。

当要检测的目标的信噪比非常低时（即图像中的目标非常微弱，因此它们的检测非常具有挑战性，尤其是对于非常小的误报概率 Pfa 值），我总是获得如下 ROC 曲线。

这不是我的图，但我得到的类似于这条 ROC 曲线。所以我的曲线低于Pfa<=0.1 的随机线。我想知道这是否正常？ ROC曲线的区域低于随机线是否可以接受？如果是，那如何证明这是合理的？

【问题讨论】：

标签： matlab image-processing detection roc

【解决方案1】：

ROC 显示增加阈值的真假阳性率。阈值处于一个极端时，所有内容都被归类为负面，因此您有 0% 的真阳性和 0% 的假阳性。使用另一个极端的阈值，您有 100% 的真阳性和 100% 的假阳性。在这两个极端之间，任何事情都可能发生。在这种特殊情况下，当您从第一个极端值增加阈值时，您开始将负样本分类为正样本，因此您增加了假阳性率而不增加真阳性率。

原则上这并没有错。重要的是您可以找到一个点（阈值），使真假阳性率之间的折衷令人满意。这就是您将操作系统的点。并且因为您希望阈值的选择是稳健的，所以您希望 ROC 在该点附近缓慢变化。但是它在远离您的操作点的地方做的事情不会影响您的系统。（这就是为什么我认为“曲线下面积”衡量性能没有用的原因。）

但是，您的 ROC 向您展示的是，您的系统认为最明显阳性的样本实际上是阴性的。也许您没有正确建模您的样本？

【讨论】：

感谢克里斯的回答。事实上，我修改了很多模型，我的样本没有问题。我认为这是因为我的目标的信噪比非常低，因此它的检测非常具有挑战性。很明显，对于小概率的误报，检测可能非常差（=0）。你觉得我说的对吗？
但是对于非常小的误报机会（低误报率），您的检测器应该只挑选出最明显的目标。相反，它只选择一些非目标。然后你增加阈值（灵敏度），它开始拾取大部分真实目标，很少有误报。这很奇怪。可能，但很奇怪。除非您的测试图像有一些看起来很像目标的非目标。
另一种选择是您计算的 ROC 错误？
我不这么认为，因为我为 ROC 修改了很多计算。我认为这是正常的，因为目标的填充率非常低，因此它的检测误报概率非常小，非常具有挑战性。