【发布时间】:2016-01-19 11:39:29
【问题描述】:
我最近开始使用 stanford-nlp API,对于给定的输入(段落),它会解构它并给出结果。
我的问题是如何使用它来比较 2 个不同的段落?
我可以参考互联网上的任何有效算法吗?
任何有关如何解决此问题的指示将不胜感激。
谢谢!
【问题讨论】:
标签: java algorithm stanford-nlp
我最近开始使用 stanford-nlp API,对于给定的输入(段落),它会解构它并给出结果。
我的问题是如何使用它来比较 2 个不同的段落?
我可以参考互联网上的任何有效算法吗?
任何有关如何解决此问题的指示将不胜感激。
谢谢!
【问题讨论】:
标签: java algorithm stanford-nlp
这是一个非常广泛的问题。比较两段是什么意思? 您实际上可以使用字符串编辑距离函数“比较”两个段落,而无需进行任何解析。见:https://en.wikipedia.org/wiki/Edit_distance
更进一步,我使用了一种浅层的方法,我只考虑了 POS 标签和单词,你可以在我的 MS 论文中阅读更多内容,从第 19 页开始:http://josep.valls.name/wordpress/wp-content/uploads/2011/09/MCVAI-JosepVallsVargas-0905.pdf
如果您想使用完整的句法或依赖解析,您需要深入研究世界图的相似性。在这里阅读更多:https://en.wikipedia.org/wiki/Graph_theory
最后,短语识别社区的最新趋势之一是使用 word2vec,它是 Google 发布的用于计算词嵌入的工具。您可能想通读这个 SO 问题的回复:How to calculate the sentence similarity using word2vec model of gensim with python
【讨论】: