Spacy-Transformers：访问 GPT-2？

Question

我正在使用 Spacy-Transformers 构建一些 NLP 模型。

Spacy-Transformers docs 说：

空间转换器

用于预训练的 BERT、XLNet 和 GPT-2 的 spaCy 管道

该页面上的示例代码显示：

import spacy

nlp = spacy.load("en_core_web_trf")
doc = nlp("Apple shares rose on the news. Apple pie is delicious.")

根据我从 this video 了解到的信息，“en_core_web_trf”似乎是使用 BERT 模型的 spacy.load() 包。我已经搜索了Spacy-Transformers docs，但还没有看到一个等效的包来访问 GPT-2。是否有特定的 spacy.load() 包要加载以使用 GPT-2 模型？

Answer 1

en_core_web_trf 使用特定的 Transformers 模型，但您可以使用来自 spacy-transformers 的 TransformerModel 包装类指定任意模型。请参阅the docs。示例配置：

[model]
@architectures = "spacy-transformers.TransformerModel.v1"
name = "roberta-base" # this can be the name of any hub model
tokenizer_config = {"use_fast": true}