与“是”和“否”相似或表示“是”和“否”的词

Question

我想知道是否有基本意思是“是”或“否”的词的语料库？如果没有，收集此类信息的可能算法/技术是什么？

我刚开始学习 NLP，所以如果这是一个明显的问题，请多多包涵。谢谢！

Answer 1

解决这个问题的一种方法是在某个词库中找到相似的词。

为了衡量单词的相似度，您可以使用由 Mikolov 等人引入的名为 Word2Vec 的模型。

如果您在词库上训练此模型，它会将每个词映射到它在向量空间中的表示。基本上每个单词都将由一个向量表示（其中名称为 Word2Vec）。 Word2vec 将高相似度分配给倾向于出现在相同上下文中的单词。

之后你可以通过计算这两个词向量的余弦相似度来衡量词的相似度。

以下是我在产品评论语料库中训练 Word2vec 时得到的结果：

• 前 4 个与 yes 最相似的词：
• '是的'，'哦'，'嘿'，'当然'
• 前 4 个与 no 最相似的词：
• '随便'，可辨别'，'否认'，零

一些 Word2vec 参考：

https://radimrehurek.com/gensim/models/word2vec.html

http://rare-technologies.com/word2vec-tutorial/

编辑： 您也可以在通用查询网站中找到与 No 和 Yes 相关的词

http://www.wjh.harvard.edu/~inquirer/No.html

http://www.wjh.harvard.edu/~inquirer/Yes.html

希望这会有所帮助。