返回向量空间模型中表示的相似文档的算法答案

【问题标题】：Algorithm for returning similar documents represented in Vector space model返回向量空间模型中表示的相似文档的算法
【发布时间】：2011-09-19 15:49:36
【问题描述】：

我有一个包含大约 30,000 个文档的 tf-idf 向量的数据库。

我想为给定文档返回一组相似的文档 - 大约 4 个左右。

我考虑过对数据（具有余弦相似度）实施 K-Means（聚类算法），但由于存在许多不确定性，我不知道这是否是最佳选择：我不知道该放什么初始集群，我不知道要创建多少个集群，我担心集群会太不平衡，我不确定结果质量会不会好，等等。

非常感谢有经验的用户提供的任何建议和帮助。

谢谢，

凯蒂

【问题讨论】：

【解决方案1】：

我想为给定文档返回一组相似的文档 - 大约 4 个左右。

那么不要做k-means。只需按 tf-idf 相似性返回四个最接近的文档，就像任何搜索引擎一样。您可以将其实现为 k-最近邻搜索，或者通过安装搜索引擎库并将初始文档用作查询来更轻松地实现。 Lucene 浮现在脑海中。

【讨论】：

我担心实时从30,000个语料库中计算最接近的文档效率低下，另一方面保存所有文档之间的所有相似性结果会占用太多空间。
@Katie D：你害怕，但你试过了吗？ 30.000 个文档根本不算多，即使它们是书本大小。由于它的迭代性质，只有 k-means 在这样的集合上可能会很慢。
但我不确定它不会低效。如果我获取所有文档向量（一次将其存储在缓存中，或者每次我想查找类似文档时），我将需要在数据库中查询 30,000 个向量，然后将它们存储在内存中以便我可以迭代在他们。你的意思是我应该这样做吗？

【解决方案2】：

如果我明白，你

你能分别估计这些阶段的运行时间吗？

一般来说，做一些粗略的估计在变得花哨之前。

（顺便说一句，我发现 best-4 在直接 c 中比 std::partial_sort; 更快更简单； ymmv。）

【讨论】：