如何使用 trec_eval 评估搜索/检索引擎？答案

【问题标题】：How to evaluate a search/retrieval engine using trec_eval?如何使用 trec_eval 评估搜索/检索引擎？
【发布时间】：2011-05-15 14:51:55
【问题描述】：

有没有使用过 TREC_EVAL 的机构？我需要一个“假人的 Trec_EVAL”。

我正在尝试评估一些搜索引擎来比较我的论文工作的召回精度、排名质量等参数。我找不到如何使用 TREC_EVAL 向搜索引擎发送查询并获取可与 TREC_EVAL 一起使用的结果文件。

【问题讨论】：

你对这个话题还有兴趣吗？
我有一个相关疑问，如何处理非二进制相关标签？

标签： search-engine information-retrieval data-retrieval

【解决方案1】：

基本上，对于 trec_eval，您需要一个（人工生成的）基本事实。必须采用特殊格式：

query-number 0 document-id relevance

给定一个像 101Categories (wikipedia entry) 这样的集合

Q1046   0   PNGImages/dolphin/image_0041.png    0
Q1046   0   PNGImages/airplanes/image_0671.png  128
Q1046   0   PNGImages/crab/image_0048.png   0

查询编号因此标识了一个查询（例如，来自某个类别的图片以查找类似的图片）。然后您的搜索引擎的结果必须被转换为看起来像

query-number    Q0  document-id rank    score   Exp

现实中

Q1046   0   PNGImages/airplanes/image_0671.png  1   1   srfiletop10
Q1046   0   PNGImages/airplanes/image_0489.png  2   0.974935    srfiletop10
Q1046   0   PNGImages/airplanes/image_0686.png  3   0.974023    srfiletop10

如here 所述。您可能需要调整“document-id”的路径名。然后您可以计算标准指标trec_eval groundtrouth.qrel results。 trec_eval --help 应该会给你一些想法，让你选择正确的参数来使用你的论文所需的测量值。

trec_eval 不发送任何查询，您必须自己准备。 trec_eval 仅根据实际情况和您的结果进行分析。

一些基本信息可以在here和here找到。

【讨论】：

嗨@mbx，你是如何计算上面“分数”列下的数字的？（它说：1、0.974935、0.974023）。我已经读到它们代表了行的结果文档和正确的相关文档之间的度数，但我找不到如何得出这些数字（“1”除外——我认为它表示 100% 的准确度）。
@NoonTime iirc 第一个数字是输出中的位置（topX），第二个是答案的排名“如果你的输入是 1，这个输出有多接近” - 所以它完全取决于您要测量的算法。
好的，谢谢@mbx，但是从数学上讲，你是怎么得到这个 0.974935 的数字的？我知道它是从 {last_position - 1} 派生的，您是否将其除以检索结果的总数并使用该分数？就像如果你有 100 个结果，那么第二行（第二个结果）的分数将是 (100-1)/100 所以 .99 ？
@NoonTime 有一个确切的答案我必须恢复我的 gitosis 来查看我的脚本以生成 trac_eval 输入。但它应该取决于数据及其根据您的指标的评级。考虑 RGB 中的颜色值。如果您的数据库包含黑色 000 红色 F00 黄色 FF0 绿色 0F0 和白色 FFF 并且您对每个颜色通道的重视程度相同（您不应该，但为了简单起见）搜索最近的 4 个白色 FFF 匹配项应该会给您 whiteFFF 1 1, yellowFF0 2 0.66，红色F00 3 0.33，绿色4 0.33。您的算法甚至可以交换绿色和红色，因为它们在此指标中具有相同的距离。
@mbx 10.2452/551-AH Q0 H-810631-57604S3 1 543.528 Exp 这是RetEval 命令为我生成的。（它是 1000 行输出文件之一）。当我运行trec_eval 进行比较时，我会收到一条错误消息：Segmentation fault (core dumped)。我现在可以做些什么来解决这个问题？