信息检索概率模型答案

【问题标题】：information retrieval probabilistic model信息检索概率模型
【发布时间】：2013-09-10 10:40:38
【问题描述】：

你知道我在哪里可以找到源代码（任何语言）来编写基于概率模型的信息检索系统吗？

我尝试在网上搜索，找到了一个名为bm25或bmf25的算法，但我不知道它是否有用。

基本上，我正在尝试比较 3 种 IR 算法的性能：向量空间模型、布尔模型和概率模型。现在我找到了向量空间和布尔模型。根据结果，我们需要充分利用它们来开发问答系统

提前致谢

【问题讨论】：

嗨！信息检索是一个完整的领域！还有很多概率模型。如果您具体说明您想要做什么，您已经尝试过什么（您提到过）以及什么不起作用，它肯定会对我们有所帮助。对于一般 IR，我将从这里开始：nlp.stanford.edu/IR-book
嗯，我正在尝试比较 3 种 IR 算法的性能：向量空间模型、布尔模型和概率模型。现在我找到了向量空间和布尔模型。根据结果，我们需要利用其中最好的结果来开发问答系统。
请用此信息更新您的问题！

标签： algorithm nlp information-retrieval

【解决方案1】：

如果您正在寻找已实现 BM25 的 IR 引擎，您可以尝试 Terrier IR Platform

语言是Java。您可以使用引擎本身，也可以查看源代码以实现 BM25 或其他术语加权模型。

【讨论】：

【解决方案2】：

这里的混淆是有几个概率 IR 模型（例如 2-泊松、二元独立模型、语言建模变体），所以这个问题是模棱两可的。但根据我的经验，当人们说“概率模型”时，他们通常指的是由 Robertson 和 Sparch-Jones 提出的二元独立模型的一些变体。 BM25（相当粗略）近似于这个模型，这就是我在这种情况下使用的。 Lemur Toolkit 中包含 BM25 的规范实现。见：

http://www.lemurproject.org/doxygen/lemur/html/OkapiRetMethod_8hpp-source.html

【讨论】：