Spacy - 引理数

Question

在我使用向量作为循环神经网络的输入之后，我正在使用 spacy 将句子中的每个单词替换为数字/代码。

import spacy
 str="basing based base"
 sp = spacy.load('en_core_web_sm')
 sentence=sp(str)
 for w in sentence:
    print(w.text,w.lemma)

在使用 keras 的神经网络的第一层，即嵌入层，我必须知道查找表中的最大单词数，有人知道这个数字吗？ 谢谢

Answer 1

引理索引实际上是散列，因此从 0 到词汇条目数之间没有连续的索引行。甚至sp.vocab.strings["randomnonwordstring#"] 也会给你一个整数。

对于条目“base”，ID 是sp.vocab 中的4715552063986449646（请注意，它是表单和引理的共享词汇）。你永远不会在内存中容纳这么多的嵌入。

正确的解决方案是创建一个字典，根据您在训练数据中的内容将单词转换为索引。