【发布时间】:2020-02-27 23:42:37
【问题描述】:
我在https://nlp.stanford.edu/projects/glove/下载的矢量文件glove.6B.50d.txt中找到了“dont”和“isnt”这两个词。我想知道它们最初是否是“不”和“不是”。这可能取决于他们使用的 sentence_to_word 解析算法。如果有人熟悉,请确认是否是这种情况。
第二个问题是,这是否是处理“don't”、“isn't”、“hasn't”等单词的撇号的常用方法。即过滤器用一个空字符串替换那个撇号,这样“don”和“t”就变成了一个词。
最后,我也不确定 GloVe 是否自带 API 来做 sentence_to_word 解析,这样你就可以与研究人员最初所做的保持一致。
【问题讨论】:
标签: neural-network nlp word-embedding glove