NLP：有效比较和识别文本之间趋势的方法

Question

是否有可以评估文本项之间的共同趋势/主题的算法或方法？

例如，假设有四个数据点（文本条目）：

• “我发现今天的学校压力很大”
• “物理测试非常简单。”
• “我的物理测试一点儿挑战性都没有”
• “每个人都早早离开了，因为物理测试很简单，我们提前完成了。”

基于这四个条目，第一个是异常值，与其他条目无关，但其他三个提到“物理测试”很容易（更一般地说，其他三个表达了对“物理测试”的积极情绪")。

有没有办法提取相关句子之间的共同点？这些句子是完全开放式的，并不局限于简单地表达对某个对象的情感——它们可以谈论任何事情。

我知道这是一个相当广泛的问题，但我想我会问一下，看看人们是否知道现有的解决方案或人们过去解决此问题的方法。

Answer 1

其中一个可能的解决方案是 - 首先生成句子表示 (Sent2Vec)，然后比较这些表示。

有很多方法可以生成英文句子的句子嵌入。一种流行的方法是skip-though vectors。只需将句子转换为向量，然后使用余弦相似度来比较句子。

您还可以使用这些句子嵌入来训练神经网络来完成您的目标任务。