Gensim：训练时丢失单词/令牌

Question

我有一个由存储在 sentences.txt 的 Wikimedia Dump 文件构建的语料库 我有一句话说'नीरजः हाँ माता जी！ स्कूल ख़त्म होते सीधा घर आऊँगा'

现在，当我尝试提取词向量时，总会有一个或两个词在训练时遗漏（尽管包含在要训练的列表中）并且我得到了 KeyError。 有没有什么办法可以提高训练，使它不会经常漏词？

这是它确实发生的证据。 tok.wordtokenize 是一个词分词器。 sent.drawlist() 和 sents.drawlist() 从存储在 sentences.txt 中的语料库中返回句子列表。

---

>>> sentence = 'नीरजः हाँ माता जी! स्कूल ख़त्म होते सीधा घर आऊँगा'
>>> sentence = tok.wordtokenize(sentence) #tok.wordtokenize() is simply a word tokenizer.
>>> sentences = sent.drawlist()
>>> sentences = [tok.wordtokenize(i) for i in sentences]
>>> sentences2 = sents.drawlist()
>>> sentences2 = [tok.wordtokenize(i) for i in sentences2]
>>> sentences = sentences2 + sentences + sentence
>>> "नीरजः" in sentences #proof that the word is present inside sentences
True
>>> sentences[0:10] #list of tokenized sentences.
[['विश्व', 'भर', 'में', 'करोड़ों', 'टीवी', 'दर्शकों', 'की', 'उत्सुकता', 'भरी', 'निगाह', 'के', 'बीच', 'मिस', 'ऑस्ट्रेलिया', 'जेनिफर', 'हॉकिंस', 'को', 'मिस', 'यूनिवर्स-२००४', 'का', 'ताज', 'पहनाया', 'गया'], ['करीब', 'दो', 'घंटे', 'चले', 'कार्यक्रम', 'में', 'विभिन्न', 'देशों', 'की', '८०', 'सुंदरियों', 'के', 'बीच', '२०', 'वर्षीय', 'हॉकिंस', 'को', 'सर्वश्रेष्ठ', 'आंका', 'गया'], ['मिस', 'अमेरिका', 'शैंडी', 'फिनेजी', 'को', 'प्रथम', 'उप', 'विजेता', 'और', 'मिस', 'प्यूरेटो', 'रिको', 'अल्बा', 'रेइज', 'द्वितीय', 'उप', 'विजेता', 'चुनी', 'गई'], ['भारत', 'की', 'तनुश्री', 'दत्ता', 'अंतिम', '१०', 'प्रतिभागियों', 'में', 'ही', 'स्थान', 'बना', 'पाई'], ['हॉकिंस', 'ने', 'कहा', 'कि', 'जीत', 'के', 'बारे', 'में', 'उसने', 'सपने', 'में', 'भी', 'नहीं', 'सोचा', 'था'], ['सौंदर्य', 'की', 'यह', 'शीर्ष', 'प्रतियोगिता', 'क्विटो', 'के', 'कन्वेंशन', 'सेंटर', 'में', 'मंगलवार', 'देर', 'रात', 'शुरू', 'हुई'], ['करीब', '७५००', 'विशिष्ट', 'दर्शकों', 'की', 'मौजूदगी', 'में', 'विश्व', 'की', 'सर्वश्रेष्ठ', 'सुंदरी', 'के', 'चयन', 'की', 'कवायद', 'शुरू', 'हुई'], ['हर', 'चरण', 'के', 'बाद', 'लोगों', 'की', 'सांसे', 'थमने', 'लगतीं'], ['टीवी', 'पर', 'लुत्फ', 'उठा', 'रहे', 'दर्शक', 'अपने', 'देश', 'व', 'क्षेत्र', 'की', 'सुंदरी', 'की', 'प्रतियोगिता', 'में', 'स्थिति', 'के', 'बारे', 'में', 'व्यग्र', 'रहे'], ['फाइनल', 'में', 'पहुंचने', 'वाली', 'पांच', 'प्रतिभागियों', 'में', 'मिस', 'पेराग्वे', 'यानिना', 'गोंजालेज', 'और', 'मिस', 'त्रिनिदाद', 'व', 'टोबैगो', 'डेनियल', 'जोंस', 'भी', 'शामिल', 'थीं']]
>>> model = gensim.models.Word2Vec(sentences, size =10,  min_count=1) 
>>> pred = []
>>> for word in sentence:
...         pred.append(model.wv[word].tolist())
... 
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
  File "/home/djokester/anaconda3/lib/python3.5/site-packages/gensim/models/keyedvectors.py", line 574, in __getitem__
    return self.word_vec(words)
  File "/home/djokester/anaconda3/lib/python3.5/site-packages/gensim/models/keyedvectors.py", line 273, in word_vec
    raise KeyError("word '%s' not in vocabulary" % word)
KeyError: "word 'नीरजः' not in vocabulary"

---

如您所见，我在标记化句子列表中检查单词“नीरजः”。它出现在我输入 Word2Vec 训练器的列表中，但在训练后它不在词汇表中。

Answer 1

它不应该“错过”标记化语料库中包含的单词，并且至少出现 min_count 次。因此，如果您收到KeyError，您可以确信在训练期间从未提供过相关的词标记。

在您要重现的示例代码中，仔细查看：

sentence = "Jack and Jill went up the Hill"
sentence = [word_tokenize(i) for i in sentence]

i in sentence 将是字符串的每个字符。您未显示的 word_tokenize() 函数不太可能对单个字符 ['J', 'a', 'c', 'k', ' ', ...] 做任何有用的事情 - 可能只是将它们作为字母列表留下。然后 +-将其附加到您的其他 sentences 使 sentences 长 30 个项目，而不是您期望的单个额外标记化示例。

我怀疑您的真正问题不同但相关：标记化和组合有问题。因此，请分别检查每个步骤的预期结果和嵌套类型。 （每一步使用唯一变量，如sentences_tokenized 或sentence_tokenized，而不是像sentences 和sentence 这样的重用变量，可以帮助调试。）

按照您的建议更新：您最新代码的问题是您+-append 所在的行仍然错误；它将每个单词附加到句子中，就好像它是自己的新句子一样。查看每一步的结果——在可变的内容和长度中——应该有助于清楚这一点。此外，我再次建议在调试时不要在多个步骤中重用变量。 "नीरजः" in sentences #proof that the word is present inside sentences 这行实际上是在证明句子是错误的；那个单词不应该是sentences 中的一个项目，而应该是它的最后一个标记列表sentences[-1]。