如何存储 spacy 文档对象并正确重新加载它们？

Question

我用 spacy 处理了大约 90 个文档。

import spacy, os

nlp = spacy.load('de')
index = 1
for document in doc_collection:
    doc = nlp(document)
    doc.to_disk('doc_folder/' + str(index))

它似乎工作正常。之后，我想稍后将 doc 文件作为生成器对象重新加载。

def get_spacy_doc_list():
    for file in os.listdir(directory):
        filename = os.fsdecode(file)

        yield spacy.tokens.Doc(spacy.vocab.Vocab()).from_disk('doc_folder/' + filename)


for doc in get_spacy_doc_list():
    for token in doc:
        print(token.lemma_)

如果我尝试这个，那么我会收到以下错误：

KeyError: "[E018] Can't retrieve string for hash '12397158900972795331'."

如何存储和加载 spacy 的 doc 对象而不会出现此错误？ 感谢您的帮助！

Answer 1

找到解决方案：

yield spacy.tokens.Doc(spacy.vocab.Vocab()).from_disk('doc_folder/' + filename)

Vocab()-instance 应该是您的 nlp 的特定实例。

yield spacy.tokens.Doc(nlp.vocab).from_disk('doc_folder/' + filename)