将词向量（来自 fastText）转换为在 spaCy 中使用失败

【问题标题】：Converting word vectors (from fastText) to use in spaCy fails将词向量（来自 fastText）转换为在 spaCy 中使用失败
【发布时间】：2019-07-10 19:07:03
【问题描述】：

我使用 fastText 生成了词向量，并希望将它们转换为用于 spaCy 模型（用于德语）。在 spaCy 文档中，它说向量“应该是 Word2Vec 格式的制表符分隔文件，其中第一列包含单词，其余列包含值。”所以，我将我的词向量转换成一个 txt 文件，使它们完全具有这种格式。但是，当我尝试运行 python -m spacy init-model de /Users/vectors --vectors-loc test_vectors.txt,
我得到以下 ValueError: invalid literal for int() with base 10: 'ich'

我的文件格式不正确吗？我错过了什么吗？

操作系统：Windows 8.1 使用的 Python 版本：3.6.4 使用的 spaCy 版本：2.0.11 环境信息：windows cmd

【问题讨论】：

标签： python-3.x spacy

【解决方案1】：

我从 fastText pretrained vectors 下载了一个 fasttext 模型 (wiki.el.vec)，然后使用以下 gensim 代码将它们转换为 txt 格式：

from gensim.models.keyedvectors import KeyedVectors
model = KeyedVectors.load_word2vec_format('wiki.el.vec', binary=False)
model.save_word2vec_format('wiki.el.txt', binary=False)

然后我运行：

python3 -m spacy init-model el . --vectors-loc wiki.el.txt

而且效果很好。

将el替换为de，将初始的wiki.el.vec文件替换为对应的de.vec文件，并重现我遵循的步骤，我认为它会完成。

希望对你有帮助！

【讨论】：