从网页池中，查找与任何给定网页相似的网页答案

【问题标题】：From a pool of webpages, finding pages similar to any given webpage从网页池中，查找与任何给定网页相似的网页
【发布时间】：2015-05-07 06:33:26
【问题描述】：

给了我一组网页，我需要构建一个页面推荐器。无论向应用程序提供哪个 URL，应用程序都应该能够从给定池中找到与 URL 上的页面相似的页面。

我尝试寻找不同的方法来做到这一点。 word2vec 的使用让我很感兴趣。我计划爬取所有给定的网页集，并根据该页面中的内容为该页面生成标签。从这些标签中，我希望使用 word2vec 来计算页面的向量值并存储它。搜索时，我会以类似的方式计算给定页面的向量以查找类似的值。这是使用 word2vec 的正确方法吗？应该使用什么训练向量？还有其他更好的方法来完成这项任务吗？或者只是纯文本匹配会是更好的选择？

【问题讨论】：

标签： nlp recommendation-engine word2vec

【解决方案1】：

我建议使用现有的 IR 开源来处理您的文档，即为您抓取的网页编制索引并查询以获取结果。您可以尝试使用elastic 索引所有网页并使用more like this query 查询来自弹性文档的文档：

More Like This Query (MLT Query) 查找与给定文档集“相似”的文档

【讨论】：