这是一个非常基本且愚蠢的怀疑。我读过，为了防止在 TREC 比赛中进行大型相关性评估 (reference)，排名靠前的文件 参与系统返回的数据被汇集起来，以创建用于相关性评估的文档集。但是，我的疑问是：
如果大多数系统使用通用模型或具有相同参数的类似模型。例如，如果多个系统使用 LSA，其 rank 减少到 100,120,150,105 等。那么有两个问题。第一，合并这些结果可能不会真正给出与每个查询相关的文档，因为返回的文档可能会严重重叠。第二，根据参与系统使用的模型，要评估的文件实际上是有偏差的。因此，相关性判断不会真正与方法无关。
我知道我在这里遗漏了一些东西，如果有人可以指导我找到丢失的链接，那将非常有帮助！
【问题讨论】：
标签： full-text-search information-retrieval data-retrieval relevance lsa
是的，这些问题是可能的，但如果运行集足够多样化并且池深度足够深，则在实践中往往无关紧要。 Justin Zobel 早在 1998 年就研究过这个问题：https://ir.webis.de/anthology/1998.sigirconf_conference-98.38/
TREC-7 和 TREC-8 的 TREC 概述论文还提供了有关为早期 TREC 临时集合创建的池的大量详细信息（TREC 会议论文发布在 trec 网站 trec.nist 的出版物部分.gov）。我们还记录了汇集不成功的案例。请参阅“偏差和池化的限制”https://www.nist.gov/publications/bias-and-limits-pooling-large-collections
构建公平、通用且负担得起的大型测试集合是一个持续的研究问题。
艾伦·沃里斯
NIST
【讨论】：
你是对的。池化有其自身的问题，我们必须忍受它。
但是，有一些方法可以使池化过程不那么偏向于一组特定的检索模型。
使用一组不同的检索模型和不同的检索设置（例如使用标题或标题和描述作为查询）通常有助于减少检索到的重叠文件集。重叠并不总是一件坏事，因为最终在多个列表中检索一个文档（对应于不同的设置或检索模型）实际上可能会加强将该文档包含在池中的信念。
TREC 采用的另一种方法是鼓励参与系统包括手动后处理运行，以确保向评估员显示的文档涉及某种手动过滤，而不是纯自动化的输出算法。
虽然顶部检索的集合确实是特定检索模型的函数，但池化使用的想法是，在 足够的深度（比如 depth-100）的情况下，这是极不可能的真正相关的文档不会在任何检索模型的前 100 名中被检索到。因此，一个人使用的设置（模型和查询制定策略）数量越多，深度越高，丢失真正相关文档的概率就越低。
但是，当然可以为检索模型扩展评估池，该模型的特征与构建初始池所使用的现有模型完全不同。
【讨论】：