【问题标题】:Precision-recall plot精确召回图
【发布时间】:2018-03-20 23:47:08
【问题描述】:

我想确保我绘制了精确召回曲线。我有以下数据: 召回 = [0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0] 精度 = [1, 1, 0.8, 0.7, 0.80, 0.65, 0.60, 0.72, 0.60, 0.73, 0.75] interpolated_precision = [1, 1, 0.80, 0.80, 0.80, 0.75, 0.75, 0.75, 0.75, 0.75, 0.75] 并准备好如下图 precision-recall curve

我不确定它是否正确,因为我看到过有抖动的数字。这里有一个例子: enter image description here 如果有人能确认天气是否错误,我会很高兴。

【问题讨论】:

    标签: information-retrieval data-science precision-recall


    【解决方案1】:

    您通常看到的锯齿状线条/锯齿图案更常见于来自实际搜索结果的更多数据点(请注意示例图中至少 20 个左右,而您的正好是 10 个)。你没有说你的数据点来自哪里。

    P-R 数字经常看起来参差不齐的原因是,召回率的每次增加通常都伴随着准确率的降低,至少是暂时的,因为可能会增加误报。在您的图中也是如此,但是,您的“下降”似乎更小,并且您的精度始终保持很高。

    但是,由于您将向下偏移绘制为对角线,因此您的数字在精度和插值精度的向下偏移中存在两个明显的错误。

    为了精确起见,任何向下移动都应始终是一条垂直线。你不会从你描述的点的简单 x-y 图中得到这个,例如在excel中。这些垂直线造成“锯齿状”外观。

    对于插值精度,图形将始终包含水平或垂直的垂直直线。插值精度的定义本质上要求(参见例如https://nlp.stanford.edu/IR-book/html/htmledition/evaluation-of-ranked-retrieval-results-1.html,了解在任何召回点的插值精度的正确定义)。

    这里的关键是要意识到,您所描述的数据不应被绘制为独立的观察结果,而应以特定方式定义图表其余部分的 P-R 值。

    【讨论】:

      猜你喜欢
      • 2021-09-13
      • 2021-10-23
      • 2020-01-23
      • 2017-09-21
      • 2011-11-02
      • 2015-08-11
      • 1970-01-01
      • 2020-04-18
      • 2021-12-14
      相关资源
      最近更新 更多