关于精确召回曲线和平均精确度的混淆

Question

为了评估我的图像检索系统，我阅读了很多有关 Precision-Recall 曲线的信息。特别是我正在阅读 this 关于 VLFeat 中的特征提取器的文章和 wikipedia page 关于精确召回的文章。

我知道这条曲线对于评估我们的系统性能 w.r.t 很有用。检索到的元素数。所以我们反复计算precision-recall检索顶部元素，然后是top 2，top 3等等......但我的问题是：我们什么时候停止？

我的直觉是：当我们检索到的元素列表的召回率等于 1 时，我们停止，因此我们检索所有相关元素（即没有假阴性，只有真阳性）。

同样的问题是关于平均精度：检索结果中应该存在多少元素来计算它？如果我之前的直觉是正确的，那么我们只需要找出最小的列表 s.t.召回率为 1 并用于计算它的 AP。

我想知道为什么所有用于计算 p-r 曲线的库都没有显示这是如何实现的？

Answer 1

具有召回 1 的信息检索系统意味着在实践中似乎不可能的完美系统！当您需要比较两个或多个信息检索系统时，Precision-Recall 曲线非常有用。它不是关于在召回或精度达到某个值时停止。 Precision-Recall 曲线显示每个点的召回率和精度值对（考虑前 3 或 5 个文档）。您可以将曲线绘制到任何合理的点。

接近完美Precision-Recall 曲线的曲线比接近基线的曲线具有更好的性能水平。换言之，位于另一条曲线之上的曲线具有更好的性能水平。两条Precision-Recall 曲线代表两个IR 系统的性能水平：A 和B。根据下图，系统A 明显优于系统B。

记住：Precision-Recall 曲线不仅用于评估 IR 系统。它可以用来显示你的分类器有多好！例如，您可以计算二元分类任务的精度、召回率并绘制Precision-Recall 曲线，该曲线可以为您提供对分类器性能的良好估计。

例如：

我鼓励你从 Coursera 看到这个 tutorial。相信你对Precision-Recall曲线的想法会更加清晰。