上传预训练的西班牙语词向量，然后用自定义句子重新训练？ (GENSIM -FASTTEXT)

Question

我正在尝试上传预先训练的西班牙语单词向量，然后使用自定义句子对其进行重新训练：

!pip install fasttext
import fasttext
import fasttext.util
#download pre-trained spanish language word vectors c
fasttext.util.download_model('es', if_exists='ignore')  # Spanish
ft = fasttext.load_model('cc.es.300.bin')

但是一旦我尝试更新词汇表，它就会给我这个 AttributeError：

ft.build_vocab(sentences, update=True)
AttributeError: '_FastText' object has no attribute 'build_vocab'

有什么建议吗？

Answer 1

build_vocab() 方法支持 FastText 算法的 Gensim library 实现中的一个步骤，而不是您似乎正在加载的 original fastttext package from Facebook。 （您正在混合用于两个不同库的代码。）

如果您改用 Gensim 代码，而不是 Facebook 的实现，则在尝试使用 build_vocab() 时不会出现同样的错误。

但请注意，您正在尝试对现有模型进行增量再训练，这是一种高级/实验性技术，很容易适得其反。因此，如果没有专业知识和严格检查额外的并发症是否有帮助，通常是个坏主意。