【发布时间】:2017-09-01 08:13:57
【问题描述】:
我目前正在从事 NLP 项目,文本摘要,是否可以通过检查相似性 beetwen 句子来总结文本?如果可能,怎么做?或者为什么不呢?
谢谢
【问题讨论】:
标签: nlp similarity summarization
我目前正在从事 NLP 项目,文本摘要,是否可以通过检查相似性 beetwen 句子来总结文本?如果可能,怎么做?或者为什么不呢?
谢谢
【问题讨论】:
标签: nlp similarity summarization
我知道的一个通过语义相似度进行摘要的网站是https://www.simplish.org 他们的方法是将文本转换为基本英语,然后在多维空间中为每个句子创建一个表意文字;以前的条件是把所有基本的英语单词相互联系起来。以第一个文本为参考,以表意文字序列为摘要空间。位于该摘要空间内的其他文档中的任何句子都被认为是相关的,并将其保留在最终摘要中,任何与现有句子过于相似的句子都将被忽略为重复。因为该方法不依赖于任何特定的本体、主题图、单词、单词集或语法,所以它可以很好地用作多语言多文档摘要器。查看“示例”部分,其中有一些简化文本和摘要示例。
【讨论】:
很有可能通过句子相似度来做总结。使用这种相似性的最佳方法之一是聚类。我建议看看那个。您也可以使用另一种方法进行摘要,然后使用句子相似度来查找句子之间的共享信息,避免重复形成。
【讨论】:
有关在 Python 中提取摘要的方法示例,请参阅PyTextRank 以及wiki 中的相关讨论。
Mike Williams 还列出了一些优秀的资源和示例:https://mike.place/2016/summarization/
【讨论】: