【问题标题】:Algorithms to compare 2 paragraphs using stanford-nlp使用 stanford-nlp 比较 2 个段落的算法
【发布时间】:2016-01-19 11:39:29
【问题描述】:

我最近开始使用 stanford-nlp API,对于给定的输入(段落),它会解构它并给出结果。
我的问题是如何使用它来比较 2 个不同的段落?
我可以参考互联网上的任何有效算法吗?
任何有关如何解决此问题的指示将不胜感激。

谢谢!

【问题讨论】:

    标签: java algorithm stanford-nlp


    【解决方案1】:

    这是一个非常广泛的问题。比较两段是什么意思? 您实际上可以使用字符串编辑距离函数“比较”两个段落,而无需进行任何解析。见:https://en.wikipedia.org/wiki/Edit_distance

    更进一步,我使用了一种浅层的方法,我只考虑了 POS 标签和单词,你可以在我的 MS 论文中阅读更多内容,从第 19 页开始:http://josep.valls.name/wordpress/wp-content/uploads/2011/09/MCVAI-JosepVallsVargas-0905.pdf

    如果您想使用完整的句法或依赖解析,您需要深入研究世界图的相似性。在这里阅读更多:https://en.wikipedia.org/wiki/Graph_theory

    最后,短语识别社区的最新趋势之一是使用 word2vec,它是 Google 发布的用于计算词嵌入的工具。您可能想通读这个 SO 问题的回复:How to calculate the sentence similarity using word2vec model of gensim with python

    【讨论】:

    猜你喜欢
    • 2021-10-13
    • 1970-01-01
    • 2022-10-05
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多